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AS de BU porgue #0)" Lil, LL Graal el deg à pe so Go « pe JS 
gare) Gil 38 GENRE adsl ob ynaëll ap sf Le ils «ete 
-DAg QI Joe 
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US pes odcs CE Leb etN EI QUE ST OL Graal pci deg 
ai Gen el Got 2e Aie Lens .Grall hell DAS Jo Lilses e1f Ha 
Date Cl sLolall 6e all SL Goal) el Gb ge CARO per Je GS 
«Geedl plc (5 peëil a sl I 
se ÉD Ed Goal del Jane (Bol 3 def à pu s8 te GE Cao dt le 
el LUI 2% eat Ji Glatall Qu COL oi pans Graal ll Job ces) 
OU of ee çgole 6% US I Les 4 SU Rs AS LS La a 5 «Gall 
É3 goes pal Je Le) dfs dètes SULIT ARES out lacs 
Sas AI ete VI LU LE se GN Ge VON OÙ amas lle Joà 
DB 4 pes «cl 3f LI JS pe à ls OUI soul col 3 Lacs 5 QILAL Re LAS] 
ebdael 185 LE le 890 8 JI55 N Graal bel Je Auto VI LS LE 
ee Vie of DEN die US pes. Ed 3 bob a ie Sas 15e pacs ple 
Cool Ait Au lé] Ds5 Geull elecll elul Le plull SU LS 55 of Sas 
NI Lee les a Lait lt ls OUI I at boul 
Has CPAS das Gall bell ogll me 5e ce Ge pr 
Gel] 
ll es Qu pri VMS elle SU Ale Jedi. 1 
Je ele Vi SU ç5 2 pales pascal le Len 4 Joles 4 ira 
Gel bell que ie CIN Lee Lol Le noll Sels à Ras «ALU 35 all 
pl al Je 5 
Gal plc Lai des (3e Lauls 5 ee OU, def 355 25 25 ne LT els .2 
ge NN QI iron qe EU isdone sal OUEN Li LS de I 
à ,noll 
Jai de 308 036 OÙ Cas «Jlaëll mercll Jef sge 3 small LU clos 3 
ON à Lens 90 5 lol LMI ee colo bee Lu Of 2 RE LUN os Jo 
LB 56 of Len cuole, Hi le I ee Si Jill Je Le 
des Les 15] Las 5 OL I ST of LAS Le US de 3390 Gall ac 
phil dif 9 ot de pot Ms Lasls LE pobe co SU pG 5 as 
AU ke Es Ye ple JR etes VI SU 3f LI Grau 
8 pnoll Sal ef aculs (tes UT .4 
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“real del Sais ques I G2S5 28 2 LL ps 5 2 3e some 
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D aol ab Gil fes CU olezall Be Lens ELSe .(attention)'"eL:5Yl 
«dl Je flat __ 6 nil plazaVL ISA Lee Ses EUS Aus code 
Grenll bell 05 os panll JA os ML 35 xs US Usloes ESS EI 

die SU ll Jox Gina Jess Se SLI pu ec OR Lai dla 
JB! Se clio hs de ei Les BL Ji 5 Adi de e lys 
Sal ul ge 85e Gel plait Res OULSU pe SU GE Au LS 
gli Jul 5 GE Le (53 3 small 

A dagall EU OÙ US pos dl (Ole pus GO ladll JS Les Sas al 4 
foule JR US EU PLU Res LES 

thought) Kai J5b ui de Gbi 2, LL C3 die 3 Rail aka à ges GA cols" 
BI Ses af 3e plena NU aol NT JG eut Abu 5,6 sf Less Le (vector 
Gall dll 2550 plu Le JR Lis Jens CS Se cole ps le eû 
DS (ge cames das av 65 JS Je Ses «5 Lt 605 Lu DS of ca 


SM Ge des + e LES de 


ia 
pl pus Jr JS AT ISLE II Jul Lis 238 8h D Graal Lei pures 
DS NI ee LES D Lada AU Bulles I ane Li) ce «JS Lol! a) Groxll 
La) Slulel auls SU Je Graal dell près JS (55 ce ail Groull el 
cpl le (Bplgoll ce de ne de sogue (3 AMI ae luel ASS Aabf el tell 33 ei 
hit ae Li A5 ge CA Graal el CUS Lèx Je 5 ab ou 

JV cp Je 6e Aabi ou La5L2UI oùba s Aéléeoll gel ce dual Sa 
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LH Les lg Les bul, die ge djall Gael pd Loi coeluall eV 
dr hall Dia Goal el ounbl GNT oonsldl pl (sl Jelel 
EN ibéoll ae sell sf ELU LUI I he LOU pla DAS De pile sd 52 
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85 oeil SNS ar es cell poele qui gi 52e ta 
de 5 > bent Go 35 22 50 Daml NI sell de se ja le GLS ol tell 
Gens Bodenall LIlSe Le SEM à Laos pleall ce lé 65 JS pe Jet Ses 
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Juil jui éuiiélg Ju HI 402 
ps 55e SU HS ee Lol Bt ENT par Léa Le NI de 
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De) Al je ir obgne pl 45 A8 due jus Ÿ 45 Ms of ce ès 
Il Ée bols Vs bel Vs Lil aol leall le EU SN Lie ts al est 
Legal Je ele VI GLS de es ob os ts AU Lo al Ra ne 

BASS nonall be sleall prart tel hell 5 5 no te pol le 
deb ot nil Le GG La, et 99 OÙ Gi sell LV cils fe comall re 
ge Lelils Eponall jf WI SN GLS Les Ci CU ps Goxeall bell 

erall Lo mal OS est ce 4 des be LOL La clés 


Gôl el4AI 


Les us Lei ca AIT eltall LS ie 8) DS N A5 5 SU ëserf oi ee C5 
sl eal eail sf al ol sl he Lt Gen il Jaè Lasl se) Lai 
Let DL Glisse NI SU AS of Ras 2 EL LS WE ul 
Lab SLI Le, 2 DEN tele) mali ods Je plicut Re Lu 

Labll ès oil Un LL Ye sf LE YL 
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da nl le pl 

GI de gl 8 NT SU cp al Gel 24 Je Le pales pe 15 DLL Ses Ÿ 
AOL ares Ada AU Ses cell ehll Das les 4e Le5ls Lire alone 
Se &5) pbs pus Aeroll Lnall JL Lasets) 5 ul Obs Ladets 
doll I BLOYL LEUt EN as all > Llaif ax LUI os Robbie. AI 
Da) JE os Medll db e paseés 6f Lai Graal dell él pussell El 4 

APN Dole eu) Gnoull le Gouts Gta Le Lai Groull bell paires 
obus ASS DM ALL UT del ais LL HS OS caro 
al Goreall dell plis 


JUia I co114 

ge de pes JM ge SI Les JV 5e pl ls pu ge 555 Graal bell 

.Gazail il Las JA 

| s II TÉ 

(7h 4 I Les &Sos pla 3e td NI LS 

Je dteVls el ce Les es il bi Je de cGuexll xl Less p si # 
Le nos 83e JS à SE on « IL SG 9 15e dot eg 

Pi ail le 5 SLI 75e Toul ce os Groxll ail giles As » 

LUN 342 pue 2 Lan OUR 5 489 null Canal La ST = 


JU 


Gel Hell, NI edls etlao Yi elSiUi 5,0 .1 
Paul AR 5 SI Lil does 2e .2 
SSI ele Gylie Grenll alel) Logall 35e ee Le .3 
Gil Hell 5 bull sl Lan cire .4 
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Laye Dial os de JUIL IN lei dla pe Le ,3 Lo same 52 Goull elall 
pe LUI paléol Lait Daël lie és cGroall hell 5 CNT ail pales 
SU Je AS bed 55 Lulu oUbsel ge JU le Graal plell 
Ggoeall 5 ne) LAN 32 Hall ls cple JE SN last bull s & gtlaasl ol 35Ns 
SES ig JS 
(Data) “LUI 
La pl dd L'oas e 8" 2x5 als «dare LLSoU LIQUI oe dènte ELLII" LS 
Le Re 00 ot, JIRENI 4 de ge Le page OUI 30 Lg s5 3 Je 
Role Ji N Lago 4 ue Lens Jude Res Ÿ des tâilote Dm Done 
Del 8 las Y ae Joe Sata LE OUL 525 d Le O Jul 
gba 33 je polie y EaelS snlou (lé ous al est not 


Lai jh5ig Lau pois Lo oalc QÙl iloglcoll 0 0j100 <ljai QI SÜUUI jui 
Qc yagai dj poléJlé ouac Jéibb bu Gi ui 40 220 LA jé cui 
uni ÇÈ 029290 Gfläns gi .augJiAIUl 074 Ç$ &ijho CuU of cl gi «Gygli 
ri QUI oglcol QI 6alc LU puis JigutoAIl poglc 68 «AJà 609 «null 


aol oi ac ol Çé &Lcé &ëy hay Laïo Jig LügJi4il Lai jà5 of Lau Jl 


Laiely8 pu 3409 QUI ÜUUI Jo DUT 29 jé oJI CÜLUUI 
LS Ut LL ce all LI (RS 5 lu pall ga) Clef OT LI ae 
Gentil SULI Gose de el 53 QUI 5 de Li baj ll Gad dans 

bLSI 8 of 5 5e Loge je LMI LI A5 03 pronall 
3 LS YI eus Let Re 5f OT Leel5 Sas Léf Le SLI per dès Ses 
ile Je) Lab 24 less DS Y daul gs Let, Sos Cl LL pus Legs 
LT Let Res Cl OULUI pus Les (PDF dre 31 ASCII 3e, le 52e 2 
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ls ENS Ro - 5 9250 puol ns 5f Ladaif leu Lesel,5 Qu Robe Lou, 5 es li 
JSON 3 HTML 5i CSV (fée LL 2x 813 

el RL ie Gutrll Ka og des NUS 85e 0 panne LT +5,20 LUI 
Ses lee SU Re C2 OL (gs 364) Lomme clyof JI dl flas 
Jebsls oxlleoll 1e Hola, OT &el5 Sos Gouts Lodel SU 71 ul 
Le JS 055 

sl otre QUI nds les Ne nds Let Res AU SUR 6e LA Ses 
Les dus 4 s Les Vs Lo all cylall Lu Je) aude 43) Le) XI où Lover 8er 
Lis 38 OL JS ce els Re LB de Je be Le QUE Ces (US LI 
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YU us LAN Less PDF 


Laglgi4Ül GS CULUUI 
SENTE us ne Led SI se dus I bsleall 5e all ll GEO Lits" 
Zalall AU Lent5 «US does Lgllons 5 lgaldéeel LAS BL, de jharul étuonll 
a pen ll ne 4e Le Le SE 
ee gl HSgoll Les Well SLI, d6le LAS :(Big data) Les2ll LUI e 
DEN SU 5e 6e 249 Lbéns jobs 5 de pes le Jyaonlls LaÿLt 
SUN Ole sere nor des :(Big data analytics) Lai SLI SAS e 
SV sal ele bell 3f LLNI CES Y Les er als; Losnzil 
Les 40 D ëde Lil Ses CA SLI LAS : (Data integrity) SLLJI LS 
| Ju} eUasf sf (st est ENS 5 
DLL Le soges Jo> 85> 3e le sles :(Metadata) à sl LI e 
Labs lea = 5 ere globe ll :(Raw data) pbail «LI 
«cle 3 Je g Ab Je et «si :(Structured data) Wall &GLI e 
be LE SLI Jolies GI 015 (3 29e LUI 5 (3 Le 
Age Léles Lol is OUI ee âme pléf ge Lball SEL DS sl 
re) 
Ac (3 65 3> soil le sleoll Cats :(Unstructured data) AS gall L£ LI e 
ges «851 Blu USgoll Le SULI de LA ste, dl bts 
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EUS (5 Les dogs Lee doudl ile Se Y ll de USgol Lé LL 
der LL Jo, sètes gts oil fe olauss 


CDLUI elgil 
D ce gbes ile sf Lou JS Gales gi in liée plofs ol, LL 36 
ep Ge il Se Je Je Cle Aout A de sel Res AN Elell gs 
WU te et ai Ut (3 85 ol 

OS pti sf cé « Gage dep 25) Lg less sde .1 

Jarall sf 3,01 sf ut ali AU de obus ès .2 

Giall cons Lui 5 Les 20) Le Lys jéall ee JE A tu ef sue .3 
OLLI e ab ç 5 Lee JO OS dleall 5,1, ss I eslasll os JS 5 
(Continuous) JoiuLo gl (Numeric) 608) 


SN G parues Las) 3) > do 8 Cole el 5f tal SEUL Les nel 5 lou à 
gel JRS 38 pronall 5 Ji Ale N elfe LS Last, el NL Les exil £a 
de Go Y dis 1 JE, sil Gite JS de (65e Ÿ (oil des I BL os 
Les JS A pe ones «pollue JI 5 Le äole AJ Nuls > 
ILES I Les «8 NI GUN sue 5 eLll ses cb ges pps 0 5e 8h less 
Les HN Je ir QU gs jf dus Les QUOI pans  phall Aa Aus 05 
JA à paall olsdll dos SES le 

[Nominal] (çoaul gl (Categorical) 591$ 

Las (6 Ds call Lau uses QU, ef de Loudi À à al Ut, cu, des 
D9 ol Ses coll Leu le Lou SEL (çasr LS Ag Ÿ ile 5 
res SN OUI pe ds 09 dote pole N UN out OU g5 CS tgl 
D nl ps 8 nl 09 ET JS Ge ST aol Joël Sas NT 
Ga) M I AN ge ol eds 5 2 db de s5 Vs (a ent «5 5) tes ue 
| (Gas) ji 
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Ga) Bosc 33e JS Je JatrS 6ole Leeds ps AI BL ie A sages 
JS pb la pe JR LS Gers LI dégage done pas poce JS Gil 
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1.2 à al 
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0 jLoJl oàa 4yg 4 28 .LauAgi io 0 jLoJl Juici 40 DL oi ÇA 0jLoIl 
duo His Gô (28) ul val) ang ug4i 26 of (r 3 oyauul eldijl) &toëy 
GlWocl 2131 àtoëy &olc Lailac| QI eliniuué ang cuülé lil yuabl 

CPNPTEN) 


QD lil 8 y 
Detail os es I GNT GLS 052 4 2 NI al Gb 5e obus, de ÿ Sa 
Lis 25 ne Lou «5,518 3f tbe plat Let LS GT es LLecil f 42 
Je ce Al es 38 GI ot dell ee Al 0 UN tee le 50e) 
pulls El oo HO 5 ail call le no s BL 1e dus GEI 
Des dy Le ccènanl Je OLA LL ll pu Le âole BL (33 aus 
ne PA AI USM es 25 Late NI sf LAN obus Jedi 
O6 JUIL cbpus Ole ne des Nil EN pol LE plell dus A EAU os 
ar 5 él d55 LUI GUEST, QUI LUE Le gogo) Ladall LI sul sa ag) 
els GI; (Clustering) perl La GLÈNU o Le el Es SI eloil 
3 3 ga l pliéeal 35 LSULS La peull LI 2 ne 4 5 Yu 


dino Cbly acgono Lie aso joli pole «lu Ali plc aigoi LS 


“UJAUl Sly 68 Laïëa ouëi aol1àul ao JU 4409 alaüul eLièo Layalg 
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SUR près ils Lliésut CNT el p55 ST di GIE Ro est des 
Ses Le Col QU, (as As OIES ef 2 de pSlarsl êde lue] Linll ou juil 
ge le pe M5 de GILÉNU él hell dans pu V ele Le as «YOU plues 
GO) JUS ps os pu cl EU OI ll D Glemell SULII) Al D Lil 
NI plc 3 505 land y Leoles à5 a cell lo plu (7) pl ce I 

y = f(x) 
SU Bonall Lol EU SL SAYb co ell Lis (91 m5 5e LL psb La 
ES 


(@5 jéio of] ani puéio gi cé aa Qi Loila cé HU &ALAII pale il àuo j lgà sgia5 
a lan le le a on ou 


oucù pgëi la <Liuü) Clytéioll yo àacgonoll oi àvojjigàll mai 
6giuo gigoil ë-y (ia oùa cu JaUl alor JJAÜ algue Cilayio Qi HA RoI 
aëajl yo Je 


(Classification) LAN 
SU ne last lang) Jobs prbcil Les ss df es Les col St LL Elec 48 Lane 
LBnuue da ge sell una ble 5Ls ele] 3 


colle of célaai Laïf Le Layl jhiu Lo LUég uno ClÂd)l 23225 po «èsiail (8 
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Go eboncll os JS des 5e cordes cunglire I canal ls us £a 
(Single-Label Classification) Zu (ssl cènel is CN lus Sas 
HE se LE 4er 69 «(Multi-Label Classification) Lt sx Lècerl s 
Coll sAxe Cas; (Binary Classification) ts AN 10,288 II Léa Sos 
.(Multi-Class Classification) 

dns Godomoll nl ne dei del Le JS Lames pu ie (SUN caen) 
Des JO je OI suce ane LI SUN cèenlt des coanerl pli Lui sa 
all Q À oil 
doll sal un UI 


Lojyls Less de3s ls Le Ve (SL, Se code (oo bL cas 3 
ri > ele JS sdJz dL- JS Lis 419 Lu es Al de Dal 
BD hace 3 ASLNN SAS ol né, ne gage CII 85 20) ledall 5 Canet SL 

El 


QÜUI ain il 
Le EI de game and ue Lana HR DL Lui a SLI canel HR 
Canal US Je Jus Je Aube 20 Lola #6 0 3ee5 LOL cool Ms (ÿ.de25 oil 
de ile) Nes 0 6. Jele Let Cats LD sl 5 Le 32 SL 


JL 0 J à .. . Li Ul 
ge Je lies US SI Lola cas a shall canal 5f dl saxo caerll 
Ces Ross CA sal de App V 60 «35 2 de ends (ol à SLA Cène 
CSI cé; cles US JON cases du eJlall Jeu de ot ce ES 
Dre nel Je Wl s 5,40 Gill Eblsol nes go pall Du 

al 


CJLo cl 22610 QUAI 


Ole pp ge all Gels pes 4 de Le JS LS 5 RUE Canet JS 
ep da ON 45 Geeoll Len Je éodee oboDe Le D des 45 4 Acioull La 
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Les Le Rat 4e JS Sixil iPhone ji Apple GA! Jo LE 
pelle 44, Le Va LI na 4 sages de JS LS 5 AT ones Le Sa 
LS 5 AJ SUN sos SULAI e abeil I és CT als dl 38 SUN sure 
Neal SU es ul de JS Les 

Cine hole adall AI Aoelles GUL2AI Lai doi Le DaI| sine cel des 
plepl Jr ol ll Les ge dl Galet eu ls LI BLYL al 
sde nl ne DRE ei pol Lolo laodls GAleNl aies s ele shall 
La gares Se al El 54e GEL see canerls lea 


Regression &SgUl 
EN Jet le peut joèents a 91 pôle ds ont GANT Je 
AT / 255) Had oi canaris ls Less Les (ol Ni le 5) 8 panel ai 
Ci pal cs Sle>t VYs coli Me Je Lilo] Us 52 Jus (ls / Lise 
put SES eJlell Ju le sperme de Le 41 ejias Aliells Lt 
dés Qi oeil de Le 4 OI st cles dues Ju Les Le 
DEN Eile Br, Nine le Lupndtoll LUI pus dll aie dep al 
SU LUS JE se (Fitting Line) Ni Le Lu, Se el pics (a Ua) 
SU Lil S plésul Se te Dde JL de 75 soul IE UD) Aile 
AA ef Le Et obus Y cle su 

ormall 3 )Ludl peus 521 4e pl Lu DS of 4 Li Let ir JS 
op lys de shit BL, Es Le Goal Jés 8) peiless col tall 
JE ESS 5f 5 LI au Le ol als 5 LI RS Je 555 Li de 291 ce shell 
dns Les 96 of Ce Al Dal 8 ELEMI LGoLI ES 5e) He Dos) po 
ds Sul 55 pus ol SN, Sat ON dos PARU 5, JS ssl 
AI Les (GPS) all pl sell dde plis pli els Jhe 3) Gi slenul 3e 
RUE 


8 pi I Cia pole Ül Loic g Ll jo 


gogo kikou auloc 9 obéir pleul # 
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LU paye by blérall Ji ais y cale loc solgssll ac » 
.ol,&l 94e yo052, dial 
Lama059 ago xl ologuuye Roy aârnoe by 92 9)Lla> = 


gl pl plgo yes chi axkos Jeux aloUl 50 28 45 2940 col pol pleul # 
.o28coJ| 
gl -aHolà 616005 m3 99h 180: aa Ie LES 50 50cm oouS5 
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20 ouyli89 1891 aa5 LUI 39872166 «a0l jo goexdacl 
 luale5g)l 50 VIA QExuy M 
Aygo) Déray&RobollpésTpE by Ipon de, 
ll 92 plc il 
y nes jf SEL Les 8e 0, Ÿ Lette UNI sl GO 8 D pe placll Eros 
ol Ds> DENIS QLEUI ago Dax le Elu drogoll LE Cole leoll 5,5 Giegall (Jhes 
élomall LE LL Gta [Sas Lol de WI 5 of 5 all ee 427 Caen ca 5 
8 LUI LL (Do des Ÿ Nc, l 9 4e Giles &f Geull ga ia .Lao ès 
SULII 5 5 Ses NU eee bons (SUN Le DVI SG 25 N epegll le .Uasul sa Les col pa 
ae Li Le pale Ji Ji 
œil angi Le = &oio jé iloglco él pi ac All jié polcil ic go no 
lié 1695 po po) 9J Lin «Si Ulg 
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JEAN) ele samoll ie jure 2 SU le es les 38 (Eee NQI) proll 
plie ailes (soëall) de sommeil (IN es CA LI LUS DS don (1-2 
Ge Blot DS on LL LU as 2 le opel A Y edusf ess 
(te JR) Le gomoll Jess ce gl NI Las Gite somoll Jets SLI LU 
JSof ge Bibles tps de pame JS Jo ball Les D 36 le sage le all 3e 

Loéril lès je Bles dès Le vogue 


ic Dal yg4üuu Ai Joinoll Jo &ojJIgà Guulgs po éLoail GÙ (hi 
aaalgo 45 4aclu ji 40 QUI LUI 46 sl a égycoJl Jué Ca WI éliiiAl 
«229 J9io «po JLoc ll 525 


lc Jui 


Le gomme Je oi il BU pe LI Le page lei ste JUS Les I ès 
ge SUII bons Je culuf JR su VI LS Les (Less Re ÿl 335 OV BL 
ERIPRES ai ets) dot sul oi 55e del I Le &Je 85e deb 

sil sil ELU sal sal 
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nil 492 plc 60 côl LU poli à jëo 
fa) Gi, US Les 15 4 iles Yi Jlall Je Le céie 44 Jab es 4 5 Loi 2 à 
Alter 55 Lilas SLS le (652 Lgolé ass LL Lol OU Lobl la 
&Seg Lars ll JR g of Les eut ce de pall Joli Je le cp ex 
OPA ei 5 5615 Giono Je ES Res coter I Bés Gb de 8 es de us péril 
Doll LI ds Le al LUS cola 25 Qi GY el AL 
je M Jeu 

all Je le BL Gt pull she SN Roll Le plait laval (5, 
JE Je Je Mis ST is Led cobeus Le Ut Les bus JE pures 
PS ès oeil lus 83,82 "UT" LS of 4,4 of RU Re LL" saslues 
| brule alé s ilot Li Gas SYLl 

SU ol Le ils GENE LOU ll ce à à JEall Lie ps y 
LB les 5 sell OL 5 pos dl Lejle SYLII ge LES os GLEN obul 
Gel DNS Lee pus ai QU, Le same ou ne JR Loniell SLI 
AN el SUIS es of Res MI AU es Gt JEU Res Jlall Jen de 
des) opel ei 515 ds 2 de à es Yi 

Don OÙ Len (ie ST age GLEN RSI Le dl deu us 5i Lab 5e 
uen Age 25 ce Duge eN 5 es EI Roms Hs JR labs JL 
ere Si les 4 eYledll Lagf sion Dydell 73 salt of La lis pe call 
Do 4e] ls, Gues êdebees Le Yl UT Les QUI HN 0 of sol 5e 
Les NI RUI del Less 4e al (Jo 8 SUdOI Reg 53 des dl Conan ëe15 de 
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SI SUIS sages plaéeul pléoll elol ous GAL Je GI RSI esl 
pe ce le ES QU degems lil Gas eltoll Les Je ioéell let 
(Le 4 Se Les 5 SOUL Le some CSS] pe JS Le Le ps 95 a USE 
3ler plus Buomall NI el bals plat LAS Les le Leu Lei 
Le ae SIM ee dell le je cites piges eL] LR 45 5 ns 
ge) él el ee bLII de SIN Gb pe dej) co ps € Ÿ 
59 37 godl ad 3) all Me po Las all 5) all ode De JUS ce (as Us Gb 
Em foie LUS 91 est ls JUS Lo Les ls) Jobs BL de page GLuu 
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2 da Re Le JA CRAN ie sens) JS ce est pa dl ll all sl 0 
EU bi 55 Je pe beat ge 5 els ei ue à 5 lent of ju 
D 5 Veoldel os Dode 25 4 35 30s Lestof ces Dasull ele Le lol pass 
D DM pèx US pes quon JR ppall nes Gels code Lau 
fe le QU, 4e some Le Lo odtall ès LS 

ions Le NI «GS SU Al Files 55 ue él Le «els I BLSYU 
8 pl SU, lire DV (5 ee peut pis CAN ol GS pole 3 ol pro 
gd JS pe Lise pe tal Jai ail, us Le Let VI Li 3,98 o5 cils 
Je Gil, ai GIE RO est deg 2 axes ONU ROLUI all plaseul 
EN SALES bel Li, ul 45 «(Narrow AD Gall lol LS (SL 
4,2 et) 

DE A CASA ue out il Roll Le bell D 55 ne Ai Le 
Loue els by cle gogo Lulu sf lianul Lars sf dèsne Le LOI Le 
LI LS JE ga ele, sL5 ul pa Va oil SU ml 5 let Joss Lg 
JE cp lg GLEN OU Le phell pois ele ol eu Cl DLL EL 
JO 3e dla 3e Logan plu, Le Lens eu Cal LI tes Dolce 
SL Roll Le el $ «(representation learning) sil il lg Lil 
BL de pages Gijres LL Ads 


Oñogo ua Elo Le Jgoall JIcoig SU JUI peu 90 69089020) Jos 9ù elcul 
cAa103 aJoll LUI jlga)l AL agi LD 6 .040 vuago Clël 592 LL LL 
204 - LRäypoale lol L ptet pt oo) 1180 je tou Did ug 


81 598 Jatos I oil LL yxx0% E9Ë, J925 31 D tou plu 50 oagll 43 
ebno pes lg le GB al 018 pau Rosa LE . (casa Ji) all les aogo)ao-llo 


.Hhollplstäl jouslg6 oo 
bg! x bell De 26 (ae pé 54ell ain) Hpall ŒÙL deu Je à 
DS 3 ani lès po glis cote le él lexenis ynall Aus le Doi Gil, sou 
pas de el QT ES C2) a er ques pu call Je le co NI 5e cèless 
abs Cèces C5 ap sell be es cdalls REY eu Ra 
Lplésall y poil pres 5 5 di de OI «US pes "Les" ; À "ut, S" Lei Le ele sazuoll 
ie ER Les 
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Grrdss s dbatrall le sageall par le God dde pds EU Sas bo à mail sole 
Le ges JS slaci par le ll os 

Get AU Le CS AI CARE Jane GLEN ol Le phil oÙ 4 JUIL 
BU BL Gelse cd) Lo de pal dde ST ll RUB 251 plu 
US JB SU ROULE Mol DS 3 2e all ULT of ea tell 
ge EU RO el 1e (etdo VI LEA 5 sue JS Le) ire DAS Je 3 
aa pars een M SU 6 «6 pe EE SN CASA pe elec Jai 
SNS pe ll Jens dÙ Das DU OUI Le bel of EU ce pas .28 all 
NI bed Jul els de SLI elale Légels CN LUE 


SU 92 role Ùl gaie g Lljo 


alus5 gl Jäoll paru lomgsaikos 
Lus Jguléokoliée by Le Jooa)l * 


&plaoJla6;colLlglay9 los pi la 5e las 155), 3 cadslg ” 
l@a6 4 leo oielayñoarous1a95 ai alIEA6 po oaUILoS> Lou * 
5) J6 91 I * 


jJcoll cuil 

Le JAN SI LS Je joe 525 Slsoul Les Se dinall bell pds 
dl pe Je JS os JEAN SA a ele ps ISIN ie 345 al Le Ja 
M de iles Blall Jess (LS HI) pleall BIS ele LES oz tes 
Je de JAN quo Loge Jos Lulu II ball eus else 2325 pe Le à 
alert Ji 51) SG Jef se ages 45 05 se of GUESS Ces LES EL ea 
Jjrall ll de Aus Es Re Jell Glass Let Gb ge 28 sal GBA 
rs GA ll JE Al cel M de of Re &Ÿ LU &35 Les ls 
ile 8As Lu O3 45 
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dao110)9 eigoUl Ji 

ail Let oerge 5 45 abs dlue NI Lol 25se EN 03S of Ses 
Dole a LU led NI Lil à Le (Hyper Parameters) &lül Aaluo)l 
Nbre Hal dessel dede JS Gi de Last of Lou CN al 
ani NI 75 505 eJlhall Je A Lee Mo AS La sLEs 5 ele La 75 soil 
Ladder AL ele Lscall EI 54e 5 dèseol| LEA Aa Ll 54e des 
de sf D of Res rise Selee Le pSsall dll of ge dns (JS 
NI p3 509 Lan EU (ol 5 pa Lulioll LUI oStaluoll 

AN pc dla os 4e sages als 4 Last ue 5 46 «sf Of 3 
(SL; )15301) al 5) 
(Model Selection) 25gaul Lüal 
-9ollylell le: a5900 Joanë5 2e, JAI 25901 LxAU 85 5905 xl 


Den hot 5 tie res es Sa ps sell sl Le Lisle JS 
gl el gl esonall 5 se pli DsJI 45 38 (model evaluation) 73541 ai :s 
8 dl NI bell 5505 of mél ile 45e Le SUR Le sdoeall 75 sel (Less u5e 
DS Yo) pal ef Leales 45 A LOT Le Mie élof 1235 (653 N (Gil 3 sel 
Liste SLI Le Lai 59 (ol Gb Bee Dogs NI ll 73 sel 
gérés ps seill bof of ce es ASS of Cons DU 75005 55 JS ais 4e et 
stdel SU Lgrlse 3 

ge PS 38 Cl Frise pds égal est Ga jme LI etes la 8 
Blotieul I OU LS Je ob GG Ï 75 pal oil les tés Les 15] uutell 
al Le page le El ea 45 95 5 seul of olil Le) Léxtall 5 sal Joel 
bé Je GG NI el 5505 DST Qi son HS). Jélère A5 le asc 
SL Ji pts Sal sde Jhe cs elNI ES UN Dogs ont OU, 
pre pocll Us suis Des Ale 

RS 35 De Dubai) QUI Les Le ph gall LRSN 2e riall Lens mu dass 
Ji Jeu de codes 2,8 Lens JS cpluf ue DUT us p 885 A5 LUI 6 
all je Girl / ouf le sages ONE I SU UE A5 EB olee ex 
Ole gas os Léliee dde Libé piles pole) Cul de same plaéeul es Lea 7 
DEA pus Gioll Le ame Le US de Pile ox pds pis «Led sarl ABLE babeoll 
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ps US deg de 5 pes Tonall ie Gao Le sage Gelol Jai pas (ol 5 sai 
Brel je Gel EbL per I br Lol SUR de pisedl Cent sole] 
Le goes plasb plall NI DAS ps céodomall ALU co Dolaoll 4e do sague plaserul, 
res g3 sl of ès LB doll se Gt as le Li asc Us US13 . Les 
À ll Le LOI Le Le JS 

Gill ol SUR de ose di à af sa edof 243 Joe Los ets il Le 
LL ALL oi At JS is Let SR à 15 des DS à EN ball os 
Li] JS GR es SE N SI eu of ce AS égal ge af nul 3e ia 
ral 

LU ox 5 sel 5 3 JS ÈS TU Le JS a ALI SLI ESS le 
ealul Le US Lo 25 Le sage II eee LUS LUN Las Ÿ 5 sal us of a GI 
Le pores «ue goes JUL Qu 0$ (es codmall Se mb se oncles LAS 
æbl pus LES 5e ALU 28 DL lé Las Le OLSOU dosages 
ges last GN griilee pu ls eJolaol Gill a LI de cg al 
De Es gas ON bus Copa dé sems pus lui 38 Joldll Gil ob «là 
Gmail je Gi) à 2 SLT, Le Al 


CÜLUUI 65 ja5 


carie 5e 5 285 Aa de sol Les CN decil obe e of se è Ut de 
sb LS ,L dla Jas lie os 45 code 38 au à le (Sd JIul 1 
LV Les ea 3e de de (gens be ll os OÙ LS 975 sec 
pli sue die Di ose pds Ji ls de 
pe SI eee Le oil elet of e5ë OI us Je 
est Ji pre) és ae LS LS 75 sal SL à il SULII plie 
oil Lee 3 de m3 paill dB Le 385 ob me Jelell à Z3 sal 
ŒULS Le gares pts DNA 5 608 NI el pôles pren 5 ec 
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Je pl Ms dB be NI, C5 SG CI BL NL LT us 9 US tall 
LUN > 
Dali pass, DAT SU le some ST DS Le äsle 15 de ague # 
De Lelel Boul ol QU Lego dd pal ul (Le 
AS à, L bail les LI 
SUN El le p3501 5,45 els p5 sel elol es : Lei de gogue 9 
SUR Qu a JUN Le some pdasll os (5 1559 Cut N 
DS AN 75 sel elof us Le semell aie bell Les (3 Less) 
OUI Le sages Lagi Cul Ce juil de page 5 Le JR (housse 
Labs 5 JM SEL pe 58 Le iomomall Loucil Less af cdi 
sb a Di 52; 3 je 35e pas JUAN de sages OÙ A 8 LAN des 3 
LUI HUleals 73 sel abus dodo 3 20e JS RES 75 sel es 
NI ES Gall es (pe eo sage plu pis 6 ES pes JS JS 
ou els 5e 2 
cb) pl 33)l 9 ES Lite pol us (3 : tonall 54e Gaonl 4e vague = 
Le EL ox plécul Lalla Géarll Le sage pldul a à USA 
pis Ji 4) overfitting ce 5 sal pra y AS ele 


«LioJl aûilol iLolcoJl roi Lie Jamal as «jo Gal acgono mails j 
acgono polaàiüul poig go il 13225 48 02clhuolg (aäilall cyILolc oil «yuuni] 
.olcÜl alor Lè Jai QUI Gil 8 GilaUI eigoûl <lai oué Ü Ji U 


(Bias-Variance Trade-Of) «D UUIg ja I Çy jo 


gérebl Les NI, ot less Sal ds de Bt D, NI el 
Les 505 pllécul Dsl de oues Des I Lot és clos ponil Len cree 
Je NI phil 75e 508 pue 38 Ms ST eos à ionll Lui Jidène Aie Ju 
ES as VI plat Go )f ll «Jill Le Le LI Gigot Bt 3 025 
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DS dÙ Reg Ÿ prérmell él DV lie eS jhonl 75 ga dus La Le HD 
be LS Be pe AS Le L,s 

des Je LI lose oo (FE) Leo GOENI 38 LA «Hdi (à 
LL Me cètee gel les OÙ LS ES 4 DS cube pi sal DS Lane Jai 
DENIS Le Al 4e same) 

eelaall ae OÙ 5 ques ls el pe Ke 5 JET LU 0 of 35 «ele JE 
De JM 051 out Jef ce «cell 3305 050 poil US as Vo des les oi 55 Le 
de le pis oulel Jail de Ju pile de ds po «colle pol 
DEN de goes 3 a Le sages 15e CH LI Le sages prune ÉLel à cut 
Le game Go Lol Lo some (els eu Le page (le (ne 3e sbl LU de 
5 ls Le sou ph sal DISTL RSI 325 Cat ei es 5 $ of 45 NI 
à pl 0) JE UNI de some Je 55 es LS aa ul Ge page ai 
(Overfitting) (amas L,5) MI LAN Ji LUI cosf EU Besss LS ts 
UE p5 eg Lane! 73 pal OÙ US s ef culs Li ass SN ile ele JE, 
SUN ps nil 5 pet ON 10 «US pes 40 ST JS Wgne Giles Al Bodo all 
YU Es Ji ils Lol QUI Gb Be ,ele Of per sell ai LS ue 
el els US NL (f jLest 68 5405 Lt es es 

La) le somall ge JS ÈS 35 les Le pee posait oi us LG os 
css ot Let SLI Jaless JS LS 32 a 5 sel OI JS he els 
GG etes aise Loti EL gel les 5 Ru LU fines Ce put LS 
JL Le bull CU pe De Giles NULS AI Leail I Este 75 pal 
oil ee O5 58 Ha y «Je boul steel 38 cAgli du pal de seal) Jef 525 las 
xl 

AS (25 ele Je bas 3 alu (65 cpl pos da) 5 ,L ëde La 
ÉellEse ds IS ail olaleoll slaof" ut Lila os (9 lès Le QE 75 sal 
Los ee eye op 
a SLI Glpéto y és aëlle Ge JgnaU JE RIciU &igoi 92 juni 
&diJoll jai eigoi Jos LU -polcill asojyigà JAila ain lAlyiaul cu 


Ju Lai I Loila 52629 &lé U au gigoil Je9 cu Jai buy lat Looïal 
Jui lo eu Ja Ül by GS 


Sul 4 DU! has 


PuoUl 6h 
ré SU le pi sal pres LES OB ul ihe 3e 5e Con of ce 
ee QI ph p5505 cf pass de ll ae juil ets pes Qôle (8 LS sell 

Le SAN SR 6185 its ds Ge JL p5 saill of 5 AS 

De Ed) Âegoge que Bodies OL, ogome de état Lajlie Dont De 
Lenall Lo) 35 EU ess A ULI pe Doules 113 sy Ghs di Re il tabuell 
no QU p 5 le Cal «5 sell Cu 8,5 call ebolaall Le 1235 dans Ÿ 
girl 605 A de se SUIS À Lu Se ses ul SL CS) 
Je ob pleut és GUN 4 Il Le SUN Le 5e As RU, overfitting J 
ga dilrall ol re Gill dll de Gil Goverfitting JUS Jill Gal 
Lei SUIS Col pe oissame QI Lens Ji Lontll dissem pus lui 
K- #57 ste Gall La doll Gi Bañ SI 42 Di (all se Gil) 
2 kdl Lil kelsef is LUI 4e sage us (ls <fold Validation 
passat eu 5e JS GA il sde (10 31 5 des pu Le üoles 4 panel don 45) 
Le AN Lo somoll pas pus QU) Gies Le sameS k Le al le samall 1e Eds 
Drug obus pig eg 3 sal LAS 3 SU Le Jon) Lou de sages LEE Le k-1 
Doll par GS us 
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£laÙl oui pulco 
233 Lio LU je Ole sans pl I les cel 5508 pti sales lue) 
ALL LI, Laol LI « ELU La all à Léboul Lasalle cosball pue 5 
:(1-2 J34>) (Confusion Matrix) AUS, dog 5 lle Res als 

GS «es EU al Lil CS ue à Jill Je de (TP) ir cape € 


Ge 5 D es" Lai 5 sl 
gi SN EAU Llaël LU Ste à Jall bee le CFP) pb ge 0 


CE 5e)" us 
ON « "Yes" EAU Llagl LU D, Lots « Jill Les le :(FN) tbe è e 
LE 5) NV 85 ps 
gs VE La dl 046 Lis à Jill Ju Je (TN) is Lie € 
(Bees so i) N'aisil 
JUS NI & joe 1-2 Jotz 


5 (aceuracy) Les 52 AN Dogs ne ae Jai pis Gi Bat SN aol 
:(prediction error) 3:51 Lez use 
TP +TN 
TP+EN+FP+TN 
is = 1-54 


GI = 


JB Yo lez Y 22) I iomomall lg sue Aus a BI 

L ON BU y Dsl eux A UÈ LL Le ste Lis 
abs QU Le jame Je Jar LS s Lx se LE se cote 58 (olul JR ae 355 
VLES slae Yo def Loes QUAD age je UN Di ELE N as, (ées (el LG) 
pose eloN AS ge Less puis 
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ee JS SU de he 45 5 sl of ce BU 46 se 5 sel 0] Js& Lee 
Nat an Ddadl load Lean Cal lent Gé EI elecsl QU ss 
Ji 5% Je pone Ji SU Les Ÿ 56 28 pal 5 I 5 sell 655 55 
QUIL LS are Us É ie ul pô sal Of axe M âne QUI 5 55 Lane 4 
ol te Joe 

ll Le Kb Joie 7550 Lis AUS, 204 &U5 980 Lu «Jai bee (le 
ges QU Gus 75 508 ui BI Les de élus «180/9 = 798 75 seul 455 2-5 
ge és da OÙ JS SG  inell Jet Be 75 soil Lie Loutéerut 131 SU 
das Sels ès Les Of 

DS ESS SLUI S, LES JÉoll Es Le ssl AUS 5, se Le J'hell 
Besse bu of Le it A ass Le deb s 55e) Graal Leg dunles cles 35 
Jobs ui 45% of Lan ail pomes faes GES CES 4/00 Ge Gi 
pe VUS pos Gest gsm de p5sell Je LES EU SI res «gr sel cons) 
BA Je pole 455 obus GI qu JEULS BU Les I EI 5 mes US Gs 
-yolæoll oda Le HA] #F1-Score ; (recall) -&XwY|, (precision) 

Al pour où 07 le) NUL gel Le pop 58 ele 
os A etat ou Lil SU} ee BON 5 us Loeb ge Lou) 
ce SUN ipisell A le Landes ul, BU GS N 6 Lil 035 
Sol5 LS call 45 cote I ESS leu Vl, BU ns ls F1 4ess plail 
QU pl Le poleell oje ol LL. Jes5f Less ses lof HS FT 4e 

TP 
FN +TP 


__ TP 
7 FP+TP 


LAN = 
pont] 


RUE TEA) | 
Fly = 2 X ——— 
BI + LIN] 
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> pd Ê . Windows Jaësil 5 (Python es cils Qu ll is 5 
JS Se Je JR less Las «Windows Jr LB Gt Python &s 
con D 55 5 de .(www.python.org) (ew;ll Python p55e ce él Less 
Lily sl ss ex (download) B55 35 de see GI JET Lé Le boul 
Python 5 ol ut Lo ls Eb oll Jañsil els dde Sas ce Lust 8 
dy dului Lie de 5 cälall (53 JO YU LOL (Lnl dan I Jul de .3.x 
Ji lui JR Lila ol ON pe dell comes 65 Les dy 5 at EI 
ko ol Aus Se «es 64 3 es 32 UNI HS Le (de ISleel Ailall 
Sat Es Ge «55 Ste Le all ESes ee AN Sddenll Bell BL 5 
Sp 2 «3.9.6 es 64 MON CS D 5 ST oo lait MONS os pol 
AJb)| dell En LUS NI 

LUU Se loi Windows d5> eut de ass &5, ol «Python es Je 
Ms ctall JS es I LB tes «si Windows pal 5 Jte Ge 
LIN DU Ge es N ae ef ol Lt 615 Late el JS Y "EG 5 
x%al "Add Python 3.9.6 to PATH" ;; Le éle 4 hasmall Ga JI Jef es & 
émail Windows sell Jeu Le Uiguss 8, 5e Python li Las Res cal 
Doll os dell D slleall il ste ”Add Python 3.9.6 to PATH" 5 de 
gp ES pes Lol C el 8 ne le C HI Gentall acte 03 se Jones Lai 
&£l Python.exe lil de pal ee Re 2 pdémell JU sa Le 3x Jai 
él de rl: Python es Slt al irbl de 


U9U &o al 

0 AL Ji te, JL 

5 A ékSe « Python Laës 5 Ce 5 St ol ebil IDLE phssul (1 
Le ps JE eos pe 'IDLE" sl; Windows Lea gel de “al 5 
B)gall Je 59e (Sgen à pub Mi (Lai de 'read-evaluate-print-loop" J| 
bai 
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Ln:3 Col 4 


Lxls jy 5 (Integrated Development Environment) ls 325 & sa IDLE 

> Python ls Doidtel) Rule s Cassalet -Python J (sg) ploe 

O rl podes 65 40 plésall NS Loue ps Là ai i <REPL &, IDLE 

(A Ji JU 3) "le" de, els 

ælx Ji as Python Jai ii, L ts Windows Prompteléset (2 
"Win + R'gtèe Je Last, EUX Lai. Windows ,+13i Lu 5 Python 
Lol Je ces ll eb GjU al 3 "emd" Ji 5e SN ue il 
ill Python &Lol es 35. Python es ie "PATH Ji Python 3.x 
«Python "<<<" 445 dx python" is JL 5N1. Windows &s Lx Ji 
Ai ai bte tetes 


Soi % Python dl; Bet oS Python pleut el of 'ec<" Le) és 


Ji 


el Ji él RS dal lol & Pip. pip LS 8,15 Y pip phil Elle Los 
ob de Gi aliéul Rey US I BLONL Lies less lepts all 
ON es Giles ua) 
Li 2 xl «Jlall ke Cle Windows ;elol ls Gpip passe Se Cu eu 
Sail eds Ces LES DU ll Res .NumPy Se Cus L S 
er à 'emd' Jef 5 M me mi Win + R'élèe de Jai Basi 
pl au 5 EN AN Jai 5 ci il 


> pip install numpy 


a JU M CS; Python els eu Laës 65 4 sol es ne ASE m 
de Sie pu pl ll none JR All es 05 3 Us col ee es os 
selef NI Las Gb de Wu I ode (sud e Eh ol one 5er 


Traceback (most recent call last): 
File "<stdin>", line 1, in <module> 


ImportError: No module named numpy 
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JS posts 5 VI hell 9 Lie 9e) ot Ÿ JS à ssl Jupyter Notebook 2x 
dl Ds JI GLEN té ji Ése ise À Le ass of Re als «leu 
Qals bond gl por pl çe De roll Lee Il Sel 4 Notebook oz es 
Notebook da 421 Lire dols dus Geo NI ble ls RL Ji Nslaall s (63 ul 
lo sN GLS ele Seal 2 36.5 ges I colo DES AS ee GLS es forts forrns 
Salle SU LUS il ALG Bsss ST lle Jar) adasesl pp pal, 
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CSV > Gus Es Python éb4 5,$ of ce «Jupyter Notebook #1 
3 LM SI La ob ob «si âme UJupyter phésuY Llss 
:Windows ;+l3l jeu G JUN LI LES 6 eu ée Le Jupyter cts Jupyter 


> pip install jupyter 
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Jupyter plait és bi SN Ce gi poèere RES pus codlof Lei Las dus 
8 Juil Lis pes ee 4lsNI las His LI al Jupyter Notebook (Lai5 
dress ELA os Jupyter Notebook de ; sal Le ele (si es I LIU 
Jupyter Sd 35 ef Laës dl à6 3oom sell Le 8 Do, oèlell (3 

sbsi ii ol| Jr dis (3 Notebook 


Z Jupyter Qui | | Logout 
Files  Runninç g lusti Nbextensions 
Select items to perform actions on them. Upload | News © 
0 - m' Name + Last Modified File size 


ge dl Call rh Las de Notebook Eu sil ds OÙ «és pes 
JS lents ék ALI Jupyter 2 js &bY sol Jupyter 
8grlo Vsomeoll 35 pe 5 Lg dors EL LI Notebook eléils 5,253 CLARA 
= Python pol lie Jupyteres&s «è,emall Le Jupyterss Sell xl 
b olil sl pires SU sa Los 

ls D Notebook Jil Lis À 5 Es IN I best «ue Notebook eLiY 
"Python 3" o42s LeSall pol ones el age" Hinall Lil ,5 Le 


Upload |New » 
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Python 3 
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= Jupyter Untitled (autosaved) à Logout 
File Edit View Insert Cell Kernel Widgets Help Truste | Python 3 © 
+ x ER #4 + D»Run M C D Code vie )elsle 


Les sw Adi Untitled.ipynb cle (5 ui « Jupyter Se pes I ue V3] 
Jai ét is 4 2 Lasi 
ke Es We G print (Hello World!) L:S1 SAIS Jess Le Les LAS 
ja Je is o Se .Ctrl + Enter Je Las di cel css D, ,5 GER 
: gl 
In [1]: print('Hello Morld!'} 


Hello World! 


Colab 

ce Gsls LA) Google ;; Lee LE ële « Colab 3 « Colaboratory 
D & Python 2 Lis, SR puy 

all pléel äxl, 51 Google Colab 4 reies 

cola LES pet psll Ll5 de delus Goal 

3 OpenCv 3 Pytorch : Keras fr 554% 

Jdlct V5 Jupyter Ji an CLS 355 6 8,Le Colab xl; Tensorflow 
GPU fr Google {32 Lu goull 9 13e I Lilas Vos 35 2 e5l) Cia lol aus ts 
PU » 


ÇColab lloJ 


SES pe Jeall JI Python 245 Ses us Ex ei JS Us Colab +: 
LE] és OpenCV ; TensorFlow ; Keras ; PyTorch fe « Groxll oil 
Éb jell Google Drive 5, «Colab 5 SUBI 5B5 4e Lèss Less s 
« GitHub Q 8 Ale Sea Sbs Jess « Sjla do Uno Le JS plus 
HS es cb els SI ét LU Ua 533 Kaggle ile Less 
4 pal Le 5 
Des Ge) ges po Jers CS Bloc 55e a Google Colab {5 &ël, (55155 
g dsl Je BL Lt, (sl y Google Colab 4,55 pleut ob db posts 5 
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-Colab SL 35 plu Axe pue pe due II ES : Google Docs zu 
PT ue) ge pe Sail éllas 251 Lai ES « EUS I BL YU 
JE el Je Colab plu Llsl DL su es e at 
La io os € 
Ale jme eo 
Sel 
«ste TPU ; GPU plu 0 
:454> àJupyter Notebook phil éile Ce OÙe gs y la CUS es 
be Je Lui 5 Ce 55 Lo nest 5 ess] Google Colabezs .1 
st 
TPU » GPU GI pe Gies Ÿ JR 68 5er ul IS] 2 


Google Colab 21261 
Bel a 85 Gi de QI el LL Was ago Lui dlgu Colab she) Los 45 
:Google Colab mi 5,0; 05 .1 
http://colab.research.google.com 
Google Colaboratory + el eu Ji dmè  JI otel sl es él 
sa Gba 32 5 Ja een ol 5,5 2 
DT ne ue .… LD 


Ê x & Copy to Drire ant + 7 ñ 
Table of contents 


CO What is Colaboratory? 


“Colab” for short, allows you to write and execute Python in your browser, with 


Whether you're a student, a data scientist or an Al researcher, Colab can make your work easier. Watch Introduction 10 
Colab to learn more, or just get started belowt 
+ Getting started 


The document you are reading is not à static web page, but an interactive environment called a Colab notebook that lets 
you write and execute code 


For example, here is a code cell with a short Python script that computes à value, stores it in à variable, and prints the 
ault 


ls su lb eu Gmail obus pliée Jssul fans à .3 
ol List ré 6 Gmail 
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35 sl Dogs Ses dde colle 35 <== <èl 6 AS JA da 0 
Amiall sja 5 Colab ;;e ir lle 
C & UntitledO.ipynb Mi Su 6 SG 
File Edit View Insert Rur 


+ Code + Text Connect + # Editing LS 


<> Ce] 


dLorcil pole il ph 

De dll OŸ LU Las Loge HS bu lasluols dire Luc ARS D h5 dou 
M AN SUN Gas Jet ce ads le Gi LUN Le Léman LI ts pal 
ga es I SG elle sf o UT os EX real el JS pe lei 
De gaalls ot ll JDN a dot LS ot ä5 9e (hails gels Jeul Je 
RL tel 25 5e pol statut pe Va boat SN pleut le LS de 
ares CAD, pue Mall pleall 55e Le de (II 59 1200 5, Graal old cobianes Li 3 5 
SN ONE Jon) Sc lealls éoUI LS ce Léelaul Las 

(PyTorch) eJoi su 


; Ie as Torch [le ex il ds &; La PyTorch 
6) PyTorch jé ls PyTorch y à hneul IQ Lo) 
rl à odel 653 «Facebook 5 ete 15 El 
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paille mel 5, 5 eut JS prés taall Lsnes Lilne 4S 2016 
LAS du bmudl Jamal peol il 2 35 bodys condall AU) dues Eds 3 all 
Lrdlrl des pe pe 45 EN I ne Dogue 2813 Jeui PyTorch j £a 13 
Gainall boul Luna SN Cou Ses clegull Âmilee Sms 458 all 

8 S LL le sages 


yg1cilg Uljol 


plage " 


-CEpw9 vo 


Aoâll sa05alogu * 


tensorboar d Jio psg 9 pay em&lglgagoic ". 


(TensorFlow) 91 jui 
all ot Hi Ge Sols  TensorFlow 
Daghall gs Cl Grodl delle NI 
ë ds TensorFlow GAL] co 0 él, 
2007 se (3 Google Brain G5 ikul; 

Tensor GS Buleall oles Le AR Gas 

3 (GPU) ee pu dalles codes EU (3 Les call elles VI (SOU «2e pures 
cs Windows 64 ; macOS ; Linux Li 4 TensorFlow 33% .(TPU) 
Je Goall pla 55 Ke 1OS 3 Android EU {3 Les «à paomall dus pull ciaras 
(ja 123 rSll Des (29 oletaralls LiSoll ch el Je TensorFlow 
25) Je Jess Sel GNU als (5 TensorFlow Jazs Jelil seul 
es ke TensorFlow ob « &eyl JU Piles 3f Laddell Al agullus 3f 35 sel 
CHENE TRIRCESE 
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09 1lpamugall so alualontulpgu Lines * 


ha lag 29 @lañoxolo cxdoll alaw 6jgal Je TensorFlow exxts 50 " 
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3 Android 5,g>\s eu sl eolouèons EU Le sde ol le La és le qu Jl 
aus ds Le Les PyTorch ; TensorFlow :,° il Keras 1x5 .U sell 1OS 
Lee 251 Keras de ol By plie Nil Ulqus roses 51 2U RUB ST Las 
PE EE EEE CES 


Sul 4 DU! cha 


g4oilg UjoJi 


-sgmoll Je API * 
plculalgu " 
-g5loil alu ag : 
plat Jeu " 


«Hope Sagoasëlà lala) 


aol LL ylacgono wo # 


-GPUgos y ,olall pe,,0 


Joli als 


sl Less Leaes dns Le sole (af be slot se êpcee ele LUI Es # 
ion Los 

Leu amall 5 JL3| JS Jess câou age laut y QU SU, des JS ses 

LS sf LE 61,20 ALG 3 LT 65,20 ef de LUI cases Ses 

SL parus GUls « lisent NI bel g3,5 ST af GI NU ul ia 
is fs ele de pSlesll sole) Léa ol eu pl 

soute jf cilaaf Lt Le Left Le Os Ge ot cu, eye 5 
ROLE 

Lt lol cs Lile>] VV oi Be Je Lila] âles je UY m 
ous pen Les ess call, 

URI ane 59m pue Le 5 GLEN LOU Le NI edl oon # 


Joy b êâune oc Sub - Lu (ia Sluulull go : Sans pal 


JUS 


ge JS D nl 5 Uiyalls SUN boss JV LS Aleseoll 3 hf Lrauss 05 
SN elerll 5 perl 3 pañall Le 
Las Nolesls oMeleall 5 GA 58 Le 
SSI pelerll Less pales LI ons cu Sal 
179 GA 55 Cul Lo some 5 198 Go Ga (GI 73 sel DS Of Ses Je 
Le aol SN ef sie 5 gai JS VI 2e sous 3 
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oil (JS piésmell last Jeles (a 8 su «© y (epoch) 855 OI  « stil 
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Ji dut sl N Li sas prondll lil Gésee ol U5L à os 3e 
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ps JV Le JS (sil wi (E) « t 5 Si GLS Dj fl agro Cana Est ele 
UE 6 AN es lee Lodel Ge all a oues ll .pnomall cènanl 
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# import the necessary packages 
import numpy as np 


class Perceptron: 
def __init__(self, N, alpha=0.1): 
# initialize the weight matrix and store the learning rate 


self.W = np.random.randn(N + 1) / np.sqrt(N) 
self.alpha = alpha 


GE Jeles à5 D slles las Hé ils «Perceptron #5 4% 5 Lui 54 
JUS M 55e colgpere (3 idee NI sue :N # 
O.1 de dal oda Lol .Perceptron &s;)l3#) Lu il dix ‘alpha * 
Lol sil 
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def step(self, x): 
return 1 if x > @ else Q 


LS es NI ph 5 Abu 8,5 ELA COST) fit os ls ses «Perceptron eut) 
QU pi Vi Lg be DIU ee Lau of des eo « scikit-Learn 


def fit(self, X, y, epochs=10): 
X = np.c_[X, np.ones((X.shapel[@1))] 


Col EL Le X des goes eles togre coma cales fit &ub Liles 
bus st (ESS à es faca Leuel) cle 85 es a y pénal Le Lol 
paul Ge Leulxs Perceptron pres AN OI Al ske Las à Lo UN 6, sul (Feb 
ges Lee Copa SEL Sole sl ps 2308 JL Gb pe joli 2 ce LAN 
Le pli Les 054 Bybes JE 5 8e co HE Jabas pee I EL EJ 

el Co il 


# loop over the desired number of epochs 
for epoch in np.arange(@, epochs): 

# loop over each individual data point 

for (x, target) in zipCX, y): 

take the dot product between the input features 
and the weight matrix, then pass this value 
through the step function to obtain the prediction 
= self.step(np.dot(x, self.W)) 
only perform a weight update if our prediction 
does not match the target 
f p != target: 
# determine the error 

error = p - target 
# update the weight matrix 

self.W += -self.alpha *x error *x x 
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le sf ie se) La) obus Dsl ss « EDS 


VU ul Quog)l Eu : EJÜUI Jo dI 


Cana ge 545 does dé 0 ne DEN ul 3 jo Gobiae ados ps 
SL 3 LL ee oi Perceptron 3 Ke « &ljgdil cs sde Je a) 
re JS Lu Je} te Cène pe Lars (er 03 aff 3 gère ed pus LL 
Lgsliéeul eu uVl es LS predict $el a ladudes Ji ns A8 2 II 
JS SUR le some) ll lc ll 
def predict(self, X, addBias=True): 
X = np.atleast_2d(X) 
if addBias: 


X = np.c_[X, np.ones((X.shapel[0@1))] 
return self.step(np.dot(X, self.W)) 


eines cas QU X JM @ULS (5e de gomme Le Lol predict exil 2 L Ces 


el 5 pee Bo] Lans DISUL Le 2 qe) 90 Le ans ele Cal as 
OUI Lo sens Le aid Jsls Les 4 ll Perceptron Lë5 45 of du oi 
«Je AS Sp (XOR 3: OR ; AND) Ji 


QU el Jef « UE, La 'OR' LUI de sage 3 Ni La 23 


# construct the OR dataset 

X = np.array([[@, 81, [@, 11, [1, @], [1, 111) 
y = np.array(C[@1, [11, [1], [111) 

# define our perceptron and train it 
print("CINFO] training perceptron...") 

p = Perceptron(X.shapel[11, alpha=0.1) 

p.fit(X, y, epochs=20) 


a HS dire Lots 7 3 6 OUI ps OR SLI ego 3 5 2 dll su 
RONSEUTITÉ 20 $ a — 0.1 
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# now that our perceptron is trained we can evaluate it 
print("CINFO] testing perceptron...") 
# now that our network is trained, loop over the data points 
for (x, target) in zip(X, y): 

# make a prediction on the data point and display the result 

pred = p.predict(x) 

print("CINFO] data={}, ground-truth={}, pred={}".format( 

x, target[0], pred)) 
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import numpy as np 
class Perceptron: 
def __init__(self, N, alpha=0.1): 
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self.W = np.random.randn(N + 1) / np.sgrt(N) 
self.alpha = alpha 


def step(self, x): 
return 1 if x > @ else @ 


def fit(self, X, y, epochs=10): 
X = np.c_[X, np.ones((X.shapel[0@1))] 
for epoch in np.arange(@, epochs): 
for (x, target) in zipCX, y): 
p = self.step(np.dot(x, self.W)) 
if p != target: 
error = p - target 
self.W += -self.alpha *x error *x x 
def predict(self, X, addBias=True): 
X = np.atleast_2d(X) 
if addBias: 
X = np.c_[X, np.ones((X.shapel[01))] 
return self.step(np.dot(X, self.W)) 


np.array([L@, @1, [@, 11, [1, @1, [1, 111) 
np.array(LC[@1, [11], [11, [111) 

define our perceptron and train it 
print("CINFO] training perceptron...") 

p = Perceptron(X.shapel[11, alpha=0.1) 

p.fit(X, y, epochs=20) 


Hoi 
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print("CINFO] testing perceptron...") 


for (x, target) in zip(X, y): 
pred = p.predict(x) 
print("CINFO] data={}, ground-truth={}, pred={}".format( 
x, target[0], pred)) 
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CINFO] training perceptron... 
CINFO] testing perceptron... 
CINFO] data=[@ @], ground-truth=@, pred=@ 
CINFO] data=[@ 1], ground-truth=1, pred=1 
CINFO] data=[1 @], ground-truth=1, pred=1 
CINFO] data=[1 1], ground-truth=1, pred=1 


Xo =+OR ri ble .OR &les dx de 5sG LA Perceptron 0: 23 LS 
gère NT OS, dl mems ee 38 31 = 0 3 0 
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np.array(LL@, 81, Le, 11, L1, 81, L[1, 111) 

= np.array(C[01, [C@1, C@1, [111) 

define our perceptron and train it 

print("CINFO] training perceptron...") 

p = Perceptron(X.shapel[11, alpha=0.1) 

p.fit(X, y, epochs=20) 

# now that our perceptron is trained we can evaluate it 


He x 
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print("CINFO] testing perceptron...") 
# now that our network is trained, loop over the data points 
for (x, target) in zip(X, y): 

# make a prediction on the data point and display the result 

# to our console 

pred = p.predict(x) 

print("CINFO] data={}, ground-truth={}, pred={}".format( 

x, target[0], pred)) 


Ces 4 2 3 1 Guyleull a Le Las 05 AI éd gll one I old y leu of LAN 
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CINFO] training perceptron... 
CINFO] testing perceptron... 
CINFO] data=[@ @], ground-truth=@, pred-@ 
CINFO] data=[@ 1], ground-truth=@, pred-@ 
CINFO] data=[1 @], ground-truth=@, pred-@ 
CINFO] data=[1 1], ground-truth=1, pred=1 


ee JS AND db ie Le 555 Lu Perceptron d1S5,5À 8,9 ai Le y 5; 
Bis 03 X1 = 15x90 = Lip Jos te L35 BL AND bail ble 5 
GS ANDELS; es 
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Ja 3 


np.array([[@, @1, C0, 11, [1, @1, C1, 111) 
np.array([[@]1, [11], [11], [@11) 
define our perceptron and train it 
print("CINFO] training perceptron...") 
p = Perceptron(X.shapel[11, alpha=0.1) 
p.fit(X, y, epochs=20) 
# now that our perceptron is trained we can evaluate it 
print("CINFO] testing perceptron...") 
# now that our network is trained, loop over the data points 
for (x, target) in zip(X, y): 
# make a prediction on the data point and display the result 
pred = p.predict(x) 
print("CINFO] data={}, ground-truth={}, pred={}".format( 
x, target[0], pred)) 
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CINFO] training perceptron... 
CINFO] testing perceptron... 
CINFO] data=[@ @], ground-truth=@, pred=1 
CINFO] data=[@ 1], ground-truth=1, pred=1 
CINFO] data=[1 @], ground-truth=1, pred-@ 
CINFO] data=[1 1], ground-truth=@, pred-@ 
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QU pl le 5, ads LE M DS 518,8 eHef > QI Late Las 
CINFO] training perceptron... 
CINFO] testing perceptron... 
CINFO] data=[@ @], ground-truth=0, pred=@ 
CINFO] data=[@ 1], ground-truth=1, pred=@ 
CINFO] data=[1 @], ground-truth=1, pred=@ 
CINFO] data=[1 1], ground-truth=@, pred=1 
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.. u J| Cl ‘ D J| ty J259 n Ü .. Ï .. J| JAI … Jl 
bars Qi O9 5 op Le pare Je ad g Lana I LG Las ce chugl 
GONE pe dual Box Gaël dagruoll QE pe HSONI 328 Laye Lex SE 

«Ii sx Perceptron Ki 5 5 a 


ALAN 5 Lola co sllall Laseall ol lall 540 Joue 

D real LI 4e de Lies LL (JS 05 soda Las LOS pléeul 115 
pe pp lil el III es 5 SLA pal doi Rail (OUI) aa 
SU Ride le 8 SU 0,6 JB enl LAS! je SL 1e plaëul 
LUI ele LS one plait 5 es DU Gil Deus Bdinoll 
SN 055 46 4 ENS pe LAN, à Le SL Lui 255 038 435 al 
ein és à SI us « (Overfitting) HIHI Le due de Us I Ja 
oi UL pe De pes pi saill of Le els GEI GES Aa la él 
Gao plaseul La 45 all ès élan QUI Le cad JE pos 25 « 
Ma JLEY inoll 

Lan SU (6525 5 bell LA sododl Cipcs Jul oies Je de pstl 
SU JE jui ZUSY Leo slot ca As à SU te Je dr sal 
Jde gl ob « Gasdi Jul Je) Les il ge ile Lui ll 
SEA DS Eat IA SE QU call NL all 51j5N de sages 
VUS Doi Lu, es (5) noel las Aèe Le LU es Le 03% Le OL 
Lai GA ss 1e ddl & jus LE Duleu (535 df Jeoall ce DIU 
JU sel de 


(NI geoll Le) dos D53 dos 125 5,25 EN LU Ales 53 seal ca 


LUI tulol Quog)l Eu : EJÜUI Jo dI 


A jän Le) 358 à JM Jon I ol # 
A SN Le Y Lai 2RA dun de Géoel # 


l L CET J dla 


D po de Jedi 3e Letll Ji ge Del Gall dell le Loge Lcterll Us 
abs 1 11-150 5 m6 ER bleol obleall se be obus JS Yi 
LB gt dl (I Loti] GLEN hes 1j betleol Les We JS let 
LS es OASIS] Le dti lo ,,85 bles JEU cmt I LE US] bu 
Y pliadl Lui 

Ps das jlol 75 gai » pme LA LI Allo God Lnaall ARE erell el 3 
LESos Les hall INT Me de Le Le ob all Gis355 Juil sie DÙ 
JS eee s Uljs Jess s ès gl SI uso des EU es 8 ele dass lat ns 
BU Lui pue 35 Of Sas AN dog DIU Cutiell g 59 dde) 5,8 LES Us 
Vanishing ) SU-ÉVI JUS ENG US Ds Lasf cure Lune IR mise 3 
Legs loi RU Bonn Lil ls sliel de GS Lee un (1 «(gradient 
| AA 

0 Ca 8 5 dll 6 eat RUN Glass Lt Us 53 Of <a Y 
IR les ide 0 S Df cs 4f Lol WIN Regal leudl pe une ailes Lei 
AI SN pme) Anh JS Us (6055 pl EM be Gbgmoell ea ie 
SE SN a O1; Dr Ghz Less si te, Lx) (propagating backwards) 
GUN EL 65 cms 45 (of 1) CAEN I pit, 


S & Ja A Gil jé mul, Ja liLoJ 


«(forward propagation) LS PES PE CS Jiilo|ssls Lil is pus 
oja GLEN Jlos bad Jess dues ARS Lu of 2 a ll Gus LMI SI 
di ll oi, sul, all Je das Joe Les Le JS a 325 alu) 
OUI pra OÙ Lau SES Gjésdene Lases QU plaseul Rgall 5e des ad EUX 
52 SN pas js Les Vis 3e del lo ue garni OÙ Lens 4 le ess 
sl eV one ST 
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Wa Wa Dj EL pères dhos tee UD LG x JL age ELU of 2 sl 

Goes GI y=x WWLWs UN le nant ESS (Go JS Us el ds% Wa 

ds JU] ps OI 4 péaall lobes (gg ad ls 5 W = Wa W2Wa DS eos y=xW 
be Ma de dl des ss JS de sul Le Lil 
y=f UAAUPAU) 


D Li lee mn ls Lt Ut Le DIR O8 EL JS eLés) NI <a 
ds 5 lin 


BuiiUl à la] Go Cl jLoJI 


Ke ge ailes Loan RAI GE WI 5 of Ces le L,S5 LS 
LU pl Le Lt Us 545 of Ces AI Doè sell lil pasels 

D sg Kai 4 es LES ls CSS ll le G,55 LS :(Nonlinear) Ja é " 
Di sol Perceptron Li Lise OU 5e le (62e GI D es pell 
ago) 23 des 38 JS Mi agual ail CS pe ll ls as &Ÿ 
Li is F LL O6 « “Li Far gee je ol: Wllois 5. JU-sY 
Loan EU 5Ÿ CE Lendlu das jé JL ape 06 Le un 
Dose Lt Vo 5 LU 5 « EU a 3 g2oull gi LV les Liste 
ils Le je so (of Dig les of Let VI Late ae 
Lio (Se Let Ub AS u,S oi Les :(Zero-Centered) (5,24) 35, ail 
DS Late (6 all 35 all Us slot du ces olal 3 let LES Ÿ 
Lola loss ei «die DS ARS LES Us ES QI 5] lus Lg se 5 alto) 
CSI ess Le sf base de CO LUN SU 05 Lolo eu EU Lt 4e si 
oS plie EN no JR 496 Qu éutell se dre I 05 age tn 
AR Co ye L ollaolt Lu juil cotsguil se sta € Lièse Se Lai 3ÿls 
ose 28 (fol «cg irall 38 all 8e Lol Cu 8 Lis 
BL JS x Let lis ds k5 :(Computational Expense) &,L.i| SSI 
rates 05 df Lans à EN About RU 5 ol sell ue Lg cos 
Agluol Loti de US 
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is phil Load SRI Co 2 :(Differentiable) SX (LE * 
eosbuf eules ia JS GG Dci Us Gt cos SD 4 AUS NI 
| sl ds ais 

Bas JS JL Ulo Gt Se :(Continuous) em " 

JS'ids eee ed JA de Jo) SEL JL) x :(Bounded)£l.s * 
SE à deg de Je WII Lens à 13] « GUN du Lt ls Le (Ge Lens 
bit ob « Al VI Ms le 5 LU .(explode) LENS Ris 
5 pe Cour) LES s Loge JeEI| WII 35 s4omall 


Auiil Jiga J4liLo 


Lan Lt Is (Vanishing Gradient problem) Gi De US Ja 
QU Je Lienll Lii CAB, Lgerts us, ie (dead neuron) &il 
es 
AUESN NI plécut Lau DR Cond y HORS NI 26 ARE 
go ol pus à Ant LES Less pascal de I LAN Le is 
LS JS 2 UNI io NI does GŸ He Lui dl all 5 Jul ao JR 
ALI 0 56 plat LIN GR ES NIGER 
NI exil lors n Hell oje coche DS eue La CE n le 1 3 
SR gaie LIN II SI JUN ob «5 as coll os 55 
AU J EUS (og GRAN les cg Lac De NL ff C3 Si) 
least ais 5 FL Gé Pt +(Vanishing Gradient) gi SX 
Us LI MI UE os 5 36 Le Ole e Lay ol SS C5 Légdens pxs V5 ul 
Se Vs GS Le JE NI Ge pie sx be LRQ Le Sail (3 
SN Gas Cas le LAS à A es quon JR bell lili sig 
gl got Les D es HS Ne JUL s . ball 3) Lol JE Los « Lélaress s 
.(Exploding Gradients) ;zûxs pol a ç JUN GE Se Le . él 
IN 5 05 059 Mer 88 elgdes JI6055 Le à LS clear) m5 SL 
als Gus CI VI RMI Je ge conMl sal pe coauil stéf La 
LE JL s0$ Les « Cudoel de 85 ON 03 ls le 5 8 LS cle sul 
Bus jé AE 
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all Je Nul de Se dtol Us 42,25 Loute sel Laall VAS # 

sels) (üne) As 2 DS Wall Lex) LUI EG ob « all ee EL ji 
Da Jaes A ee Dj SN eue Real 63e à Dj eyes ef 5e SI 
Le (Je os les Of IRD Lg LOL 5 SEL Ce II 1e Se 52e la 
URLs JI ç55$ a AR del of ll ne Sean Res Vs à 043 sell 
LOI os ous AS Las eLôf Gles JS ne LS e5e ele y 45 SN 
els Lei; (dead neuron) ll &exl LAIT at, Al Rues I Laxll 
IS p Troll Lol LAS à al all Lueul LI We HR holl 
Lis pes ail ebéf Las du Ÿ Cl bail LIST ous Lelleol Les 
UN as ND of fie 5 un ou Glènte DN 455 ce earll te D small 
ISSN 5 6 NI deal VAI Le 535 ei I à uoll Luaall LI Le 

ôuéoJl Qui Jlo2 

Lailass Cassut SN LE CDs ist nl Lis C3 

Sigmoid 

JU sell Le Sigmoid LI D, ès 

OX) = =———_-7 

69 1+e* 
0% Gls pe Les ol Let Us bte La x de 


def sigmoid(x): 
return 1/(1+np.exp(-x)) 


JG Si dièo Cu Us dintus (01) GUeNl Géj gas dass Sigmoid Üls 
LS te all 1 I 0 ce GUN Gal pr 55 des Ride Led (51 LD I os 
pee Jedi SUIS Les 41.0 I D 5 AU SUIS sleul ST) ST nel dis 
0.0 4 2 5 SU SUIS Ge 51) 

:1 — o(x) dès,.2 «0(X) Sigmoid ds «o(X) 32 Sigmoid Üls Gi 


6(x) = (x). (1 — a(x)) 
QUI il Le Sigmoid ge di Se D Ab GA 


def der_sigmoid(x): 
return sigmoid(x) x (1- sigmoid(x)) 
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EU 5 QU Jef EUX, LAU pit, Sigmoid Us 2 ÿ Les Ml 


import numpy as np 
import matplotlib.pyplot as plt 


# Sigmoid Activation Function 
def sigmoid(x): 
return 1/(1+np.exp(-x)) 


# Derivative of Sigmoid 
def der_sigmoid(x): 
return sigmoid(x) x (1- sigmoid(x)) 


# Generating data to plot 

x_data = np.linspace(-10,10,100) 
y_data = sigmoid(x_data) 

dy_data = der_sigmoid(x_data) 


# Plotting 

plt.plot(x data, y_ data, x_ data, dy_data) 
plt.title('Sigmoid Activation Function & Derivative') 
plt.legend(l'sigmoid','der_sigmoid']1) 

plt.grid() 

plt.show() 


Sigmoid Activation Function & Derivative 


1.0 4 sigmoid 
—— der _sigmoid 
0.8 + 
0.6 + 


0.4 + 


0.2 + 


0.0 - 
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-(0:1) SLI eSigmoid Us Les LS Dial 2x se Sigmoid ds (jls 
D Jos Sail à ne LS Us ou Le EU As Le do Lilo ps 6 5 Gas 
Los 3 SU ec (60% EU (01) La Ge Joel se IS Ë US Sigmoid 
pi Des Eo dgpie p5 I] Cal Me 55 ELEM des o cadb es I JU 
Des As « Laëall ju 

Ji mot «métal Glen ue RM de «Sigmoid Us ob eut old à 
ithoge 1 Sts uus Celiieul 


Lejlss à pres Pot IR  Sigmoid ds us os SX Use .1 
US 4 Real Lou Le 8) col Jul eu Ne Wu ads 5 ll LES NI 
aol Ales eLSf 6 8 (oi Lea LOGO Les 

gp os Sll 2e Cu Sigmoid Us Sie Sal dès cd .2 
be LS 3 ul Lt 0 CT le seul LAS) que € ART ENT Les Le 
DIN le y te bule Le a 


UAULUäoSigmoid Jelià .elloxall Lille ko VU: 1 JIOsolgabilolasaobx 
hou pLélasool ul pe asbl agi 


“oo Sox UalLElgl 


Jleidoglilacio aol ailes. (saturation problem)gxälaäoso le * 
ex qu J : aa 038 6 .0 ç9luv lgärho 99 Œuay : lgronë) sil da) of a5ÙI aa 
oem pleulched I, 582100 : ol job 

La9o09k6o0lLAL aol oLillpson 225018 AUL9 Dollep és ae lgsl " 
alu gleglaul gl dañ5 talpolasl, 632 sLiolloig sou au aglon bi Lau gi 
LG) pan ag 0,53 oÙl JewliS .0 8,5 

JA] lun 09950 px Gawlanloc LUI 1S 5365 .ayle agua ag) " 


tanh 
LS 38 OL USE, Sigmoid Uk G5, DU 1 tanh Lis Us L5 ; 
sinh(x) e*-e” 
cosh(x) e*+e-* 


LUN sl le lee » Sy DL 2 


f(x) = tanh(x) = = 20(2x) — 1. 


def htan(x): 
return (np.exp(x) - np.exp(-x))/(np.exp(x) + np.exp(-x)) 
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ŒUS pas .Sigmoid eye 5 pes Li les 3e tanh ob codlei Doleul se ms LS 
-Sigmoid Activator Lg éle CAN JS 2x els Ÿ Gb JELs all (se 583 
ere aile pes A JL (11) Gas Gérpnanrs Les pau DVI os 
ob EL AL Sl s tanh Jfinés LUI all xs rs lg nes io s 
.Sigmoid &IN Sol yo Wie Les jéoll Vs y925 tanh Lil ls 
JU ps Je tanh dis Gris obus es 
f@) =1- f(x)? 
JE el Je LS DL à A 


def der_htan(x): 
return 1 - htan(x) *x htan(x) 


UN 5 QU Jef e EUË, LAU Lglänkes tanh Us ès Les 


import numpy as np 
import matplotlib.pyplot as plt 


# Hyperbolic Tangent (htan) Activation Function 
def htan(x): 
return (np.exp(x) - np.exp(-x))/(np.exp(x) + np.exp(-x)) 


# htan derivative 
def der_htan(x): 
return 1 - htan(x) *x htan(x) 


# Generating data for Graph 
x_data = np.linspace(-6,6,100) 
y_data = htan(x_ data) 

dy_data = der_htan(x_data) 


# Graph 

plt.plot(x data, y_ data, x_ data, dy_data) 
plt.title('htan Activation Function & Derivative') 
plt.legend(L'htan','der_htan'1) 

plt.grid() 
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htan Activation Function & Derivative 
1.00 + htan 
0.751 — der_htan 
0.50 
0.25 
0.00 
—0.25 
—0.50 


0.75 


—1.00 


LI G)> pau JaguhoJlap aol 96 :Sigmoid ke le " 
9tou laut sanooILAl 35b pacs * 


Lun oëlolgl " 


lab Aa b,e lg! " 


ReLU 
HE We us EI sos SAT G tanh ;Sigmoid Jlss past Ses Ÿ 
LI) Goulet Gé SN Bt Dis Las ReLU dti Us. ul 
bols gi JR il 2SAU pros Lao VI ENG Re Le CES 4 (èseall 
LI il Le ReLU ls cè 5 es ail 

= be < 0 

- (xforx>0 
LU pl de ES ES db 

def ReLU(x): 


data = [max(@,value) for value in x] 
return np.array(data, dtype=float) 
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LU pl Je ReLU dl Gite lus pis 


; Oforx<0 
on 


QUI il Le RS ES ob 5 


def der_ReLU(x): 
data = [1 if value>0 else @ for value in x] 
return np.array(data, dtype=float) 


lplètes ReLU D mess QU > SN JS 


import numpy as np 
import matplotlib.pyplot as plt 


# Rectified Linear Unit (ReLU) 

def ReLU(x): 
data = [max(@,value) for value in x] 
return np.array(data, dtype=float) 


# Derivative for ReLU 

def der_ReLU(x): 
data = [1 if value>Q else @ for value in x] 
return np.array(data, dtype=float) 


# Generating data for Graph 
x_data = np.linspace(-10,10,100) 
y_data = ReLU(x_data) 

dy_data = der_ReLU(x_data) 


# Graph 

plt.plot(x data, y_ data, x_data, dy_data) 
plt.title('ReLU Activation Function & Derivative') 
plt.legend(C'ReLU','der_ReLU'1) 


plt.grid() 
plt.show() 
ReLU Activation Function & Derivative 
10 + Relu 
—— der _ReLU 
8 
6 
4 
2 
0 
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Sigmoidalyas lo ilgioll 5äx&Ul xml 15 u3 JR eus * 
Jsll ilbelñogoJolulako, * 

.aO4à Jay oJlg| " 

Loltärul, Base lg ® 

0830 NT 


Bolopño eus # 

8211080045 Lo I pal 50 lala axsoll ao oILLAI goaloau " 
SEA) LUI alor 3 ao ILUA eyehaaulg oljgÙl cn 2a5 D anal Ag) él 
Slu JA oUl pa5gaon 0945 47 1007 .Luilgastusprarsoamoelilà ati hosliS 
20 Je blyloules Le 5901015 50 Jäloo: ygûl lea, 


0 2QiÙ 6 mic U «Ali Jjénn all 947 au cläno ReLU ÇäLÿ Loaic 
olé fèn äüiroll lé ll JA cicos (ac Aikoy U ail) 81 jil JA 


co auuacil WI «ALU Gonluio 2295 D AJ) dj G9luy lol Duiiil 
.& Al 


Softmax 
SI Net ee) CU axe nent les des sofimax dl pairs 
Softmax Ab, Lun (UNI Cane eg Gil «Sigmoid Ke Le) Ale 
EU As Gaisle Los) Sol Giguell QU me Cle da 43 JS Ye 
(Ligue 
e’i ; 

SE ex for j =1,…,k 
A JS Eyes OÙ BEN sue ie 25 JS I Lans LL, das JV Softmax az 
.1 3 


LUN gl Le lee y LS D à 


Softmax (z;) = 


def softmax(x): 
return np.exp(x) / np.sum(np.exp(x), axis=0) 


:Softmax Us JU > SN JE 
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import numpy as np 
import matplotlib.pyplot as plt 


# Softmax Activation Function 
def softmax(x): 
return np.exp(x) / np.sum(np.exp(x), axis=0) 


# Generating data to plot 
x_data = np.linspace(-10,10,100) 
y_data = softmax(x_data) 


# Plotting 

plt.plot(x_ data, y_data) 
plt.title('Softmax Activation Function') 
plt.legend(['Softmax'1) 

plt.grid() 

plt.show() 


Softmax Activation Function 
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Bag Eu fe LS cle Seal AL 0, al sus canerll JSLte) LU 
S os [A B, C, D] ot 4 Eu of 2 il «all Leu de heal LAS ca 
L SU Sofimax dl Ab of 2 EN D Giles LAS 4 la 5 Su 
ie JB 0! JS Jess V 85 JEU 4[0.26:0.14:0.41:0.19] «ssl 
| .C äil JI 


(Loss Function) nl ä lag «ua il 

Leg Dis) LS / Digi Dis LUE paré lai ge ble gonll ei ls 
De (St Lodel UE Le gage Das La AASOI lo Less eds Cotes due Îles ce 
IRAN Lo 5 bles DO Loge 1555 mal Le; y 38e D ASE O1 5 Eat Gb 
M cmosll bag ST ones ans oi ul cis de ile LG L 
OI 6e bell Graall bell pile) Aixall Jaall 5 Dsguall a Grexll 
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POV due le Je agi des Ag us Vif ie Con Sonmonl se Le oeil 
pre Gigi ous le Jess Qi oliell 5 el 58 Lits ol ll Cou 
(maximizing) 5 Lee 32 cul AL, 3 Lexs se Le D sas cl roll 
Les x Lu cle de Col JE 4e f(x) Le se se Us (minimizing) -xs 5 

QUI gl le lens Ses (Ils 05 35 les 
c;(x) = 0, ie£ 


mMinyerrf (x)subject to rs > 0, ed 


ea 3luall paies 8lsLioll 5 p 2 ol pull ne Losogee Is le Les 7 5 € ee 
US VOS cle ce y) Loue LE Less 411 SN Abe ASIE Agées luonll 3 La 
G>Y ass À JS 

genes Le) dl all Jeu Le «Graal Hell ces Ales Gb de Ha 
JUN JMYl .Gradient Descent UNI ls YI A Gall xl déatrns 
WU null 59N1 ol Le ptal pus JS el pe LS Ces dej olos 92 
OL JS «lead Eee de Las VI de JS Gaholl dé ps of ag Ha ins 
pe des js (0) agi LD Ru Seal SV Go leoll dos à 385 
@ Qi Jde JA 5e docoll GNT ul I Jos LS JS las (a 3 slasul 
gra M 2 I J pe JR poulet pus 

D és péset ol guess le AUS (als og cs LA GE ab 
es Je y 4 I els OB US pes UN 5e sl Je ce LUN ul 
DIN OU pe Uhe de des lo «SUN SI Ge & le oluonl Dax 
QE dass datés cle; ls Sa Loan 4 an elec JA La UN 
sl ele) ls pe QI abs dus el Lg lacet. UT us 
Le)lssl eds 


oL9DlBuI jou lolo poëcgono cena anne tJl y x6loe 5 


La4laJly 9ab,sUllaall yiâo July 


éléU LU Jl255 LI 


Us Jai MS Jobs SI de LB pps AL SURENT SI Lie de 
ob eus du di Di de Gal IA LUI OI LS Gb ge las 


1 Gradient Descent 


VU éulol Quog)l Eu : EJÜUI Jo 


Lex oja LAS ds as ls LS LUE Les ol Je 5 JS 5 Lans 25 SI 
si db 6x 5 Y LS of Lil 

(Batch JO SUN NI : GUN sl puy Le Gb LÉ Sa 
(Müini-batch gradient, xs SUN MN «gradient descent) 
UN Jus a L ae US «bis ses du dot > Lie .descent) 
(SGD) ll ;! (Stochastic gradient descent) s| pe 


De dde dise let Cle Jonaonll pes Seal SURENI MouVI 4i b oje 

dell NI dl 6 5es Loi aà Lil se Que tube CS Ge JS Jul 

die Je) JS Alu eu ie Le ils Cle css ab ls I BOY 
Ki 


IN p 355 el bee pres ARE us ee MSN CURE Jus VI ab 
Li hall eds of de pè le Uasul Ole deg obaal pages édols 84e autss el ,æ 
SE Gil US ST CS 555 eoll GoNi ddl ne sgl Gesell deles 
Lits Salle eat db Dos cs I 6355 ŒUS pe Lol SJ cal si 
ce co lil Ge Gsmèll GE SUN es es ANT I al te ge Jul 
4, LI «is .(mini-batch gradient descent) 5 4 4x SUN SN puseul 
 -orëll Ge pal çe BU CS al le te de sommes AR LS = 
DS cs ll os pillage 8j call 1e 4 sages pleut, csdlelaoll Eyuess 
cs GO clS eWs(Noisy data) Léa olal ge Leslie ST pol 
pl Jde JS LUN oje Cle ES pes LE ST LUE 33 4 La teleall 
ads phacll Jane 0 Df Les US JBL NL Le LS ass el ce ed cdi (&) 
DS pr GR 65 VB JON 48 athll plaall noel Lula nez 
«ball ile) li Lai LU spl secs gf js N sf coul Qi A ae 
OÙ «95 gas pol Lee LS RH Gb he Lao alé due St p5 ll 
Je Le (rate decay) sl Jane JHossl pig 3e a de Je Lil D NI 
DA prunes Me eo 8e bel Je US II JS NI plu (5339 df Res cultall 
JL OL «ts pes pl ele GB es Jess ul ls dell ce ST 
Gel Je Het Les Lgononss css Lesl3 de GEL colelee Lai ce odba 
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eds poil lai Jus sl) US (Je 38 ESC bel June sfaose 1e gli 
JE Je JS D ES 5e I Us US Eie Œ bell dues 33% Ÿ LI 
LE M oles I be Ji Ÿ Gil sde of ne die Gel bell die pti 
Dyedés dB gl ON ge ES Giolelll e pusl OU pe de JR es 
de all Al 58 VI | coSLelall 


JU Ç$ LéläÏ “ I Jai ll oi 


Jéë fmin Us Je ES CS OV NU Las Bof ol le ES5 LS 
Ji be cos 5 das Le 5 Les es Ni eus 5lol Lu SUIS Hot obus 
GT di one auf 8,1 4 25 dsl Gus bee SU Gite we, Lé 
er oeil NI aol JU SN has 4623 des «yen NI Add june F3 81 unis olassl 
Jess ES ALAN UV Zeb La ox Léo ut nb EN DS 
ar 8 > Job os EN Ru à k 5 SI 35 en os (JI8 SU sabudl Lol 
gène let Vi pe bled Lusodl GANT JV alias pe os Vls 
PESTE CN) 
import numpy as np 
import matplotlib.pyplot as plt 


from matplotlib.ticker import MaxNLocator 
from itertools import product 


2 


V2: Li pi La x oi f(x) = x? — 2Xx — 3 aus Lo pos Us 54 cel 
Gholl D 3e, f lt Caf sts GB Mu puis CSULSNT l DN 
VX) = 2x —2 ui f cp dl 


def func(x): 
return xX*xx2 - 2xx - 3 


def fprime(x): 
return 2xx - 2 


Graal les eLSf Let us Cugi Us Lu D AU Jlss sde «Es des 


def plotFunc(x0): 
x = np.linspace(-5, 7, 100) 
plt.plot(x, func(x)) 
plt.plot(x9, func(x0), 'ko') 
plt.xlabel('#$x$') 
plt.ylabel('$f(x)$') 
plt.title('Objective Function') 


def plotPath(xs, ys, x): 
plotFunc(x0) 
plt.plot(xs, ys, linestyle='"--'", marker='o'", color='#F12F79") 
plt.plot(xs[-11, ysC-11, 'ko') 
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Lu, Li 2 x = 1 2 Lo 5 L F of Dig 535 df Us cebof SLI pu a 
Sos UNI SV SU Le 6 5 Df du 5 «Cobol +15 ge ès Le Laall)x = —4 : 
x = 1 dell SN dl us 


xQ = -4 
plotFunc(x0) 


Objective Function 


fx) 


—4 —2 0 2 4 6 
x 


kil La xx des [JUN sudl Je daul SURENI os Yi Le; ls sd 
els Les p25 JV 25 de Le pr elesl Las QG @y ëshsl Jyb de hits 
JU all plus ol 30 


Xk+1 = Xk + AxDk 


Ci sue 05 (1 X 1075 LL 3) Luxe Jens des 4e Jef NT DS ue 
(1000 LL (5) dns Lo 


def GradientDescentSimple(func, fprime, x@, alpha, tol=1e-5, max_iter=1000): 
# initialize x, FC), and -F) 
xk = x0 
fk = func(xk) 
pk = -fprime(xk) 
# initialize number of steps, save x and f(x) 
num_iter = @ 
curve_x = [xk] 
curve_y = [fk] 
# take steps 
while abs(pk) > tol and num_iter < max_iter: 
# calculate new x, f(x), and -F'(x) 
xk = xk + alpha x pk 
fk = func(xk) 
pk = -fprime(xk) 
# increase number of steps by 1, save new x and f(x) 
num_iter += 1 
curve_x.append(xk) 
curve_y.append(fk) 
# print results 
if num_iter == max_iter: 
print('Gradient descent does not converge.) 
else: 
print('Solution found:\n y = {:.4f}\n x = {:.4f}'.format(fk, xk)) 
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return curve_x, curve_y 


bee Cola pol fe UN es Less Jaës x = —4 0 us 


ax = 0.1 

ax = 0.9 

ax = 1 X 107 
ax = 1.01 


ax = 0.1 :J9Mi pt 


xs, ys = GradientDescentSimple(func, fprime, x@, alpha=Q.1) 
plotPath(xs, ys, x@) 


Solution found: 
y = -4.0000 
x = 1.0000 


Objective Function 


fix) 


de = 0.9 UN pl 


xs, ys = GradientDescentSimple(func, fprime, x@, alpha=0.9) 
plotPath(xs, ys, x@) 


Solution found: 
y = -4.0000 
x = 1.0000 
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Objective Function 


ax = 1 X 1074: ps 


XS, ys = GradientDescentSimple(func, fprime, x@, alpha=1e-4) 
plotPath(xs, ys, x0) 


Gradient descent does not converge. 


Objective Function 


fix) 


dx = 0.1 pl pt) 


xs, ys = GradientDescentSimple(func, fprime, x@, alpha=1.01, max_iter=8) 
plotPath(xs, ys, x0) 


Gradient descent does not converge. 


Objective Function 
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le dial le ul Godlel Los sil paul ge de Lez Lab Les 
JUN ll 
be ele GE Éd le SEL ee de ep 
RE 7 
8 ll Jh us plait lue Dub ce ét Le Lai JE dl ol 
dsl J'y 5, 
pe Leu ie je 533 Job OÙ «US pus. Joull go 92e ELU pe 
Joel dl 8505 (6335 «dll eds GAY Le pxll Sas Vo el SI ae LS 
AURiaJl je 
max iter = 8 purs Loë cl 8 SI 6 shall Job dus calins CEE 
PB IN qu pl ons) 
Je Ai est le Juan Se x = 1 Jedi of 38 dugé Ses des ed 
| slell à as 
ou À Je pie f Gall de 15e es Joel Leltsul pus Lou ge Jeluss 3 
VF GE) = 2x -Gis f 5e JS AN x of des est Ja Lt e Lécholl 5, 
5 nes ee grns HS al 5 Late LS sde Ab, b ode ca x = 1. (si 2 
A ele os de pl e fill Je Lors 
UNI MY Jos LS ail Lei Je se 135 Sete LT La of BY 
pes bi gens, EN Le Ha Cu dial Luylodl Guns sl ul pe 
abs; 5 ojg) Jleëll Las rex 
(Momentum) à ji Qc 2oicoJl ëläü ll ya nil 
LV Gi is @ he Jin plit Cala GUN SN LL At 
gi de Lol Ji aloles ele Les Jlsb EG Las 4 (Jaleadl Lie DU Seal 
JU 
O+1 = 0 — a. V:(64) 
ë A 04 055 JM La Ve (8) « 1578 GS sel jf / Seles La De Eee 
LI ol se (ne JR old AUGRANI SV 4 ss baril dns C8 5 t 
Los oluos pe Jab 5513 Je Baguuall WI COST. Jéul CI Cut 53 ane 
Ge es HN Codes Dan à (823 RAM ESP) silent HS, Le Spore Dj 
Momentum) Ki ile Rial os (Jul ll je Ste II (sois 
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DVI I Gall 5 05 5,515 GLS a EU LS IE Ra SUN eV Le ls 
D po ete ll 4 9 ba de el) VI plait ce Va 27 ones SUV 
gl Je AN os LS Ses cs VI dde LUI ol Su pags Lai 
JU 
Ot+1 = de — Ve 
Ve = V:Ve-1 — à. V;:(8+) 

Cd Le UT SUN SE suce GE es 52 y «2 Noleall oda 
2% Le es js DR 506 1 6e D Ab 5 al os pds a Label 3 Kai . Jul 
ne JUS Le Eloi pe cle dire HS YI 


2D Griewank Function 


Griewank db ès 3-3 JS 


croi GI Jaa5ll Qc 2 Jotcoll éyani Watco JI igénol aélAl JUS «po 


aul 6J4là Guy) Qélaubll Janjll RAjl jui alu can Çé aiaalgo 
Epaui jé Qi 5263 Lo. (Lo ay ny 


(NAG) 899 €puoJl Cél& HU UI Jai 


ide pe 58 pl JA pe polis cool Jeu I ps CA 5 QI ces of su 
SES er PS LS 56 Le gl GDS lue 5 QI Cas NV 5 pes LE 
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AI ES cod uso se ANT Lila Le 5 ge Ha OS sf Le ce de 
gi de 8,91 45,5 of Le Us ëue la ou Us CA Ge (38, 516 
> old le plis pe 8 QI pre 52 (1983) Dons ele «sol l Gala 
SN Les der AN pisoll GS Fou lus p5ë5 Ailall 5 al (3 slaxll 
pl he A le où Gps Ge glall ce EN Côlenll Ji Lol a 5 SI 
JU 
Oi41 = + — V4 
Ve = Ve Ur-1 — A. Vi (Or — Y.vr-1) 
Les NAG ;i Nesterov Accelerated Gradient Descent - ii il ois ous 
ère) ur É8 3 5 es Of as ls à Ve (Or — 7 Ve-1) lue 92 ès ll oa e 
LI pl le Ve Des Ja (2013) 03,515 Sutskever 2 «KA 
Ur = Y.M + a. V,(0:) 
Me = Y.Me-1 + a. V,(8:) 
keras (9 L8léuW Jl225 D à Lo j Jlgà 
Dig GUN VI ho 2255 Ka cçpaoeall Ado] Keras plaise de 
Spa pars de Lesliésuls SGD #5 15e 5,8 ot jf BL se (SGD) 
from tensorflow.keras.optimizers import SGD 


sgd = SGD(learning_rate=0.0001, momentum=0.8, nesterov=True) 
model.compile(optimizer=sgd, loss = ..., metrics= ...) 


«(0.01 31 gélN se Yi œ il Jim) (learning_rate) ;l,L SGD &s La 
À LA (decay) J'hesl felee s Lèlre Li nesterov si «(momentum)s>;ils 


GAUSU LU J2c0 cui Ulio jJlgs 


phal June oui DVI 2e Lea pi 2 CAN eV ol pra paéns 
Codes SI be bee of a Lagall AE se de Jales JS Duo 
ol Cas bal ox fre Gus ce des Jabra) Lont ST 53 of Res ds 
CB (bladl ge sl ot GS êkes Leaf SN lue el5 Jelaoll je 
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Ces ele JS 0% of Len dll les press ET Lines Leaf NT tes) 
Le 8,5 JS Ga Doll el June dodo 

db Jies LS Jef ce WRI da Joel Lies obejlse pl 05 dei es 
ed Dèx prie lei pool RS DU AL) Les l ge Aütéee Jets 
be) 5ll 
Adagrad 
p5 SL Sas ARE Gaulle Les és JM ebesl Jane de ssl 3 df £a 
Ds ge Jp pus Ge le Jeleall QE 135 de Lis Le Hall Je cs 
LU + es pus I Go 5e QU aie pbs June dde OÙ 452 Rob ce Jade 
JS Libéeoll ecl Yueel (dl LENS Il lig Adagrad Qu 95 
Jde Jalee ui JA Adagrad oeë -L eax) 5 dos jé US£ ol buf oe d 
ph Aiis ès LU We Vs fe Be ous ball os Of ce ASE AS JS lc 
gb A SL Lutgll & xl ss CSulus AdaGrad dej) pos «li 
lie Je Jrad Laëssell el Vas Jus) 2 eu aie Ge à ALT I SE 
8 pl lat es ps SI cs us 80 ol ef es Vues a 1 
ALI ils 8 EI el des De glenall Reis 

JEU Gel le FL  Jales JS Jade pl dans ao pus El as 3 
JS élus pu JUN Lan a as bled) el SI (Jet) 
BLSYL JV ue Le Ju Has Lou, Jul dell Jus obus pus à abs 
Fil oeil ol; IS af es Ma .Géall Je Lomdll cal) € 35e des I 
> Jus plell dre JS JUS «ball pot heal 5 à Ge ele J al 
sgh Las" a ès Le og) AL I Doleol Jul Los Ai 6 ssl 3 3 la 


2 
Ge = Ga + V:(0:) 
Kkeras (5 Adagrad àLo j Jlg 
EN 3 I rés ut Keras Adagrad ere phésul as 


from tensorflow.keras.optimizers import Adagrad 
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adagrad = Adagrad(learning_rate=0.0001, epsilon=1e-6) 


model.compile(optimizer=adagrad, loss = ..., metrics= ...) 


AdaDelta 
ce 855 Je co gall Lex L Les A Qt Adagrad &e;ls +35 8 Sal 
Lois el Gpdmall el June D Eros Me LS des pol but ST 5 
AA ia dllas AdaDelta &a5 5155 Joles 6,5 pu of 512 Ra N El le 
JS Got de pe Va CU ou I tuuSoll ôloll je Vi BL AS Gb de 
Das Lei Uf et celodenll Qi desole ae ce Va Xe La 
JS le pif EN 3 pare LS ia not Se sole oi) jaitrell g saga) 
PEN is Lu Jéuf Gage 7 xl à ON Eyes Les p 35 8e JS 05 
dl qor ce odedl SN ns Les At LI Cle sal ANT ce 
pl 8 pes Aaslal (ilgnd se Le El 055 lez Les nds Ni LS ck5| 59 92 sal 
des à QU Me po de pNl Al Du pi Lo es lies eV 
Ji dot Lib je y Le nl oeil Joe ge 558 Lu Las le 
BU el cs ce Va cladl Last bi se last out &le ul 

ALI Les ail le ol pra ailoll Ju gioll plu ds aa 

jp plant 54h JS CS DIN tue Jus ASS JR Laolasl ode 35 
gi ob «55 JR dj ut lis La, Adadelta oN 5 5e JS Ji 
Le 3e JRAI ue ou AU les chou © Ji 0 5 2û) se pie de Au 055 
St olhs LE of sRes 6 Lulu ST Cie 5 0541 La 58 

il Nine Ji bi ge Gall LL Jai ge pu « Me ge ui ce, 
OLA pont LUN buses Mxil Juxe las OÙ AI opte else de 
Du ges Hell ire Jltcul Gb de URall ox dsl mel Ales Le ALT Las sl 
LI let 1,235 Lan ali li .A0Z Eudees pu yell Jaleoll ce ST UE 
HT as de Mas « LUI ele ue Lan Ÿ au 9 sd Je GEI dll ous 
S6 ul ae fe well Este HS LI de) Laal Lu (Ki 
LU pe de UN La zes .Jeleol) Let Let de AB Lt cola ul 


E(A0?) + € 
Ot41 = 0 — Ve (0e). ET 

E(V2}; + 
E(A6?)+ = y.E (A6? )s-1 + (1 — y) A6? 


E(V?}: = y.E(W? 4: + (1 — y)V: (6)? 
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keras (6 Adadelta & Lo j lg 


JUN 5 I rés sut Keras  Adadelta rs phésul 
from tensorflow.keras.optimizers import Adadelta 


adadelta= Adadelta(learning_rate=0.0001, epsilon=1e-6) 
model.compile(optimizer= adadelta, loss = ..., metrics= ...) 


RMSprop 

SU Libé SSL, plis Les Adadelta 4 de II 485 CAN Leo os 
root mean-) pp bugs ji iles pris dla 4e Grée Y.RMSprop 
(ee 3) ile] es 0 Li eall es RMS SlLesti é L Os (squared 
JON pull de bi less, ledit SI 


Ve(@+) 
O4 = 0 — à. ——"—— 
HP PE 
E(V?}: — Y.E(V?):-1 res )V:(8+)° 
keras Ç$ RMSprop äLojJl9à 


:Keras SRMSprop cs plait db «JE 5 QT Clés phil 
from tensorflow.keras.optimizers import RMSprop 


rms_prop = RMSprop(learning_rate=0.0001, epsilon=1e-6) 
model.compile(optimizer= rms_prop, loss = ..., metrics= ...) 


Adam 


5 du 035 (of ce das sell oeuf ee da 6525 5, GAL be sl 4 225 
pe pe leelé de lès Jele LL Dsosè 45 ill aie Gall LOI JE pe 
dsl ù Adagrad x fl la Le ol ol te 55h Jécil 
Adadelta 2x Les call Jele el de lil Gissrsl Lolal pol 
Lglar Yo pol Les Lg D JUS Loge L& pui eball oi RMSprops 
SL) D 5 le 85 Le, és LI Dans JS poil pe 5 de 
Ps il Gen SUN LI Te) SV A2 Li ie le ls Leu) 
6 dl BV LS ecole shell de GS ca) «II idée ele sheo 
is bi Jules GUN io LS plel ES de Ses «Lys 5 35 cle ul 
.Adam ;i «(adaptive moment estimation) SSI DS JUS os ale né 
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keras (8 Adam à j Jlgà 
:Keras Adam [es pleut Es «JUN 3 QI Lélés plis 
from tensorflow.keras.optimizers import Adam 
adam= Adam(learning_rate=0.0001, beta_1=0.9, beta_2=0.999, epsilon=1e-6) 


model .compile(optimizer= adam, loss = ..., metrics= ...) 


Loss Function hi &JIa 


es LI DL 418, LEDU (score) il plgeul ds cdeall I Con less à 
DE Lan I ons 42 res . Lall 03 4 doles ne ondl en sâgectil ode de 
Us) sui Ds JA 63e Leu ode lue pre JUS LMI plat tell taloll 
LIN ei Lal| perd 55 Ads as gl I ail Juge LS le Ets «GS 
DolesS Us ls 

Loss = y — ÿ 
AN Je « A8 ga) Il Led Al a Ÿ 5 y of de 


elelprë5 Jico senegal 19 JLislgonmäs pu aroilg 


Jerry DU atse Le Les ll des LES ES ES « Wasui ls plat 

ral [Slt GEL ode sul lo cat, ARE ç5 Le Wasul Us Les 

JS ie DVI OI Le sage) ler pu 5 05 5 po na US 5 Vs 
Lun LS docou c el 


Jai Wii, Joan 


Is DT pu Je dépens Los Gel pe HS pôles Jeles le E,55 LS 
Llut SNT SU est Jlss su ds cl Le GDS LI Les EL 
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Mean Square Error 


pr Get quel à LAN doute uns se JMS 03 5,65 SI Dasui Jiss con a 
QUI Holeol 2x5 roll Led 


n 
1 
MSE(y, ÿ) = => Ci — ÿ;)° 
i=1 


Loheril cthall sue jan ue 
:Keras $ MSE ls plis Ses 4 JEU 3 9 cire pliguls 
from tensorflow import keras 


loss_fn = keras.losses.MeanSquaredError() 
model.compile(loss=loss fn, optimizer=..., metrics= ...) 


Mean Absolute Error 


UN oleall, àaë alle Gaël A cp Lao dal 35 dau gre DIU os cs 


n 
1 
MAË(,9) = = Ÿ li — 94 
i=1 


:Keras SMAE 4h pleut Sas «JE 5 I èlés phil 
from tensorflow import keras 


loss_fn = keras.losses.MeanAbsoluteError() 
model.compile(loss=loss fn, optimizer=..., metrics= ...) 


uni nl Jiga 
nel Lleall sut lis dès ee ll le 3 
Cross Entropy 


UN sell Le Lei ,x5 F5 Gross SDS (ee Wluoil PEU oda Cu 


1 n 
Cross Entropy(y, ÿ) = D) Yilog(Ÿ) 
1 


:Keras $Cross Entropy SRE plie ges QU 5 3 célarse plissul 


from tensorflow import keras 
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loss_fn = keras.losses.CategoricalCrossentropy() 


model.compile(loss=loss_fn, optimizer=..., metrics= ...) 
Binary Cross Entropy 
A Je lé, Le CS still olémell Binary Cross Entropy plisul 4 


JU 
| : : 
Binary Cross Entropy(y,ÿ) = — =D Ci log(ÿ) + (1 — y;)(1 — log(ÿ))) 
i=1 


àBinary Cross Entropy Ba üls plie Sas AU 5, cols pass 
:Keras 
from tensorflow import keras 


loss_fn = keras.losses.binary_crossentropy 
model.compile(loss=loss_ fn, optimizer=..., metrics= ...) 


Backpropagation all Ji Ul 

OBS pe die pbs ple Ji 4 LI idee Lune 4 Gael 
SJ no ST 0 055 JS le as of ce ai 42 LN OÙ ati ques Aer all 
Jared  glleall 58 OU SNLS JS MI US os de3 LUI D ail D «0 9 ee D 
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Bodo Lau RU GUlé JR4 oeil Dan 2SS LL UNI Gall 
QU po us MSI, Jet Ole ob Les sl ed pass old 
Us ons (nn) bee Eye DR 5 le Small SI Sels Sd 1e Aèbisme ul Luis 
SN GeÔU 6 25 JS de e))l50l os GA LAN Ale ses Cale YI Las 
giga lee Jus Lol CE ès LuRe 55 ele CA LAN We se p 35 
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ah eg (3 
GAL QUES VI Ale,» 


Land SI ue Les .4-3 JRHI 
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Slls ho buse sl ais ph Ledl II bi Eee ee le 
Glyte Less ous es LE Ab ps 0Ù Go US tal OÙ AU pes . pa (6 ns 
phascul AS 1 na Le JO PLAN cts mois) Mléntell ae pu due cols d 
6 93 Tin NI ed pe el Je EE 0398 cts eye pda po 
SD ES] 

N(0,1) 
Nin 

se I BLY Rad LS s(variance scaling) UN le Zi LI ja ous 
ea bus 5] (Fan-Out) cal les se de 5 « (Fan-In) JM lis 
DB OS of ans SE LE M jf JL N Ses sue DSL à BA gts 3, Ka 
NI le poil cixe jaof 

:Keras Er] Les M ladell cales pal variance scaling plis Ke 


Wo 


from keras import initializers 
initializer = initializers.VarianceScaling(scale=1.0, mode='fan_in', 
distribution='normal') 


EE pb Bo nll) gl Losis EN de wi Benjio » Gloret JL- 


:(Xavier 


2 
Sr 
Bet a BU an Di ea 5 a LAN oldes 4e Nour es er 
2 agi (Us) NS La last 1) ELEN Jess ge JS el 
De dl 3 LU Ulé Xavier &5 of eus Aë Be onto aol LG A sloes 
| rh péal 0455 Le LE ul 
JUN ge I 5 2 ler sut Keras SXavier plisul Ses 


from keras import initializers 
initializer = initializers.GlorotNormal() 


VU éunlol Quog)l Eu : EJÜUI Jo dI 


Lu 43 Los «éëlgoJl 0 JLi4 ç$ LaJali yoyo paaiv à 4yüuiso yhJloia JA 
© 4.09 «AJ &og 011 Ca a Cülgal &Lon LS cHômAol 698 aai Xavier's yLS 
«AJà a14Ù aucô)l LUI àcgono nn yo GG hôs 


Col ol 


girl ele ge lntot oo Muledll je dl dleÿ Ha bec une SE (oi 3 
A SHlaoll ot SA go Duels (hyper parameter) Gill Jelaoll 53 DE 
A EU Seleall Blèdl Gi SUR ge phsell auts GE Llesst ds 
Malo! ode els eu NT nes «eS sel ebof as Ge Lébus Les cs Heleall 
LUI Hell 555 dell bles Li Godéell JS ce lens pes GS eu all ei 
SUD 4e BU bled 2x ans Las IUT Get ll Les (Le 
ge LES ei le delus GG Jeles 38 pla June ASUI Ls sue 2 Laseall 

Last IR Cou Les loge Ds JR GS Releoll List ab Rs 


plelarloc: 1 J6lg010 pa103 para 590 cllaugañilälle-LoleoJl 105 


ete 
Ile Girl (task) Lage Ji Ab AUS 3e Gall ll pèse el ge nil 2 A 
SUN EN Lns Si Co de et SL RS Lis pod btgll 
AN SLI Gi) à,  bL de (Je deull NI ie of 225 Al LES NI, 
BA 5e Le pb 550 di 55,20 ie Ÿ a «ls es (il Lies 
rl SU ge ill cacsene QE du M Aa Le SU LE 
De Une SN SLI le pages JS du pal de sogells donall Le Gao) de sague 
ge pie NL Je 5 N EU 4 ani pèse 
Slroll Led) LE JR Lan ALU 5 dnall ce Ghal ce gogus pair 
De EN ri 1225 JV Go sages pus hell Mine 3 I à Je 5 sel 
dr Rés Loans Laall I LS QI 1525 ol Le OUI 5 SA elf 5 Je 
OI 6e JA Cu ail og of cf 4 (Sail Le @bLII CI & aol Jde 8j) 


Joy ab êâune oc Sub - Lu (ia SLuulubl go : Sans pal 


DS Le « SA pl Le Giles .overfitting HI Luz ous Le Has «La 
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LES dus pu gs caygabl sue" ne A Jason cp age AS ARS «el 
Jens Qle el ge du 5e as ose Gael lee CARS RUN ul LS JA ce 
ce die es Juil de Lil ol, 10 mail ge Gall Des ques 09 3f cle 
ge Sell Qles paie (pee GI 5 sell pla) ous uit QE] eu all 
ie) 
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039 
Kall ci 6-3 JR 


äylai jicig Gén àcgono Lie 2 0792 JA 6$ eigoûl «lai JALoJl àSQUI Cl yy 
8GAUI <lab ag juino Lu Jai 
(Dropout) ilgucil il 
Lean) LS DU) a Lulu ls Ra Leal RAN LodEs An Le on Sotall juil 
D3É5 Lil Cle par OÙ dns Le ile 65 15 SG JS de lite JR 
LS 548 JS ais ll os Las Les of. bide pe Y JUL die 
IN se I Qu — p) dt pes ep les pe Las Le JS NS ce ll 
dk pales pin ous 635 JS Goliell mar le ol pus I ia (63 
Is Los oi Las I 423 JA Rés OLLI JL les eu Scie 
gris die pe kues 


all dou des (D) 5 Slot dot JS 0) Les 1 6-3 JR 


&e (ensemble) 4 gage Los play a sn Soil dl St) Bo SN al 
De lego, 033 JS des pus pi gaill pe Les es ps LS JS ON pile 
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Des Jus NI el Ga Lébul St ee Ada oloanll el es 45 2 55 
4 1 piles Honda 5 Res dote 5508 promall Le 5 df 5 Ra ax 

Je Gredl SU Le) ee of Le Gletal ht us Re st RU 5e 
OU Jee Guol Gax OÙ Vs del JA De RuiS all 45 oil Je GAL) 
LUI ds (38 2h & all OÙ «SU 2x (385 IL ele cu] dus LME 
Ses of Let RIT Je cnall ge «Je ON ll en all odg) Lol 
ASS Ltee cou Lan LAS 2 DŸ sésame Lui le 


Keras G JE 8 NI bee peut ion il Jo Sas 


from keras.layers import Dropout 
from keras.models import Sequential 


model = Sequential() 
model .add(Dropout(0.5)) 
(Batch Normalization) àic Lol üsguuil 


(distribution) {355 2% Gil Ms Css EL Sol es JR Co 5 653 
internal ) {Ji Lécell 2-5] RE is Cou s LU I 45,5 eL5f Sal 
CS eg pu lee eL5f Ji enul xs coboluell DŸ HR ol os LE:5 .(covariate shift 
Lu SUN I LIN RO se JL M pe 5 (593 dti Jlso pes 5 Las 
Qres 8 june Le LU aa ju BL SN cuil lee els Ua ls 
Li Les VAL (JS, at CS, OS QUEL 4e ie me CR Dboall RAI # 
dial ol LES of Lai We Us coll Did de pli Etes es LES 
de ulell dote uocall pi Les EL Gus Le Gi, out ol; 
Gien CSS ai DOI JS de pos EN Ce Gus Ÿ Le als 
dll qe Jelell Jai se tés Jlss pe garni ae le os Le péts II lis 
ce Lil sis G(Batch Normalization) Lelezahl & sil A5 45 «lai sl el 
ol ls ja buse L 0,6 eo AI of JS SUR de à pal el 2 
cEpie Qi Role sl Lèeoll SUD de Lelezell Lol mès JA ce ls 

RU LUI ot al Les 8 55 


rolci Qi 5267 lag alcül Jaco 61 j y4oy aiclonl aquuill Suni JUS yo 


aur Lol &sguuiill 92 à ul quôiy à jléo aëall 29155 44) à QI a SLA .Epuui 


:Keras G JE 8,241 ile ut Lslegell & ul paul os 


from keras.layers import BatchNormalization 
from keras.models import Sequential 
model = Sequential() 


model .add(BatchNormalization()) 


keras (5 äuncil à Au oi 
Ja Jtall 5 Keras Ghz Rebel Las 805 DES LAS Les cb pu dll Lie 3 
do gli 4e (Ji of dei Jill laut eslS 3] Les Gi Lune AS els La 
Je ia SKaggle lee GUL 5e Lune Lys 21 LUI de sages 
3 ef Re Jyall peu OÙ SU Jai Les JsY cie se LU A .Zillow 
anal LI Le sages Je dausI él (39 52 sai Lui uiul Lu ssell se Bi 
BUL po 3e à pl eos 6 2 sl 018 4 JV La 975 505 caf eu âge IL 
gb Les p35 cJlall Ms Gas ssl Cube Gus (3 
OU QU a obsbedll obsbes Jos CSV oil VAS m 
Lezdles Le; a Ses 
GLEN Lens s x ous Jlsl ailes IL Lol DULOI sc some ub # 
Y ess 
Less ps 
DRE Le goes s Gil Le some s Le y As sages I] SU A sage ds 
Alt Je Lxsls notebook 4e JEU à QI ess «pandas àzSa Vf J-of Mass ts La 
:+ Enter 
import pandas as pd 
de al tes e” pandas" ee (ose sell » SU CII LS cs jf 15 25 es Lies lis 
JEU 3,91 ES Gb de Le el CSV bi pd al 
df = pd.read_csv('housepricedata.csv') 
Je débèss s 'housepricedata. csv! Lèle |, Like I old se Lui Ha das 
Lil; notebook &lz Gdfils ss éble Les: df Gosse 58 Le 4 ue Je 5 CS Ti| .df 
‘Alt + Enter le 


df 


https://www.kaggle.com/c/zillow-prize-1/data 
À https://drive.google.com/file/d/1h6LPHNs4F FnxwfdE_fCIsGeEh30tDBf/view?usp=sharing 


LUI ul Quog)l EU : EJÜUI Jo dI 


is Je Gble fee 345 of cos 


LotArea OverallQual OverallCond TotalBsmtSF FullBath HalfBath BedroomAbvGr TotRmsAbvGrd Fireplaces GarageArea AboveMedianPrice 

0 8450 2 5 856 2 1 3 8 0 548 1 

1 9600 6 8 1262 2 3 6 1 460 1 

2 11250 7 5 920 2 1 3 6 1 608 1 

3 9550 T 5 756 1 0 3 7 1 642 Le 
4 14260 8 5 1145 2 1 4 9 1 836 1 
1455 7917 6 5 953 2 1 3 7 1 460 1 
1456 13175 6 6 1542 2 0 3 7 2 500 1 
1457 9042 t 9; 1152 2 0 4 9 2 252 1 
1458 9717 5 6 1078 1 0 2 5 0 240 0 
1459 9937 5 6 1256 1 1 3 6 0 276 0 


(hour) 850) Lou DEN 5 soxll 3. D sN 8 hat Bas VI (65 32 30 Lo JL-3Y1 ailes 
Je ON. CN" 3 "0" 5 ee" 3 1) Ÿ pl bu goll ge el Jyoll pue (Je iles 45 A 
rlerilaes Slezell p sb Ce eé ges LI Lee ges 25 GEI JS Li, oi 

dataset = df.values 
J(d£ values Re) bé dé cs pot ist LIL ob SL D bo 
ddataset LES EU Le. dataset" x Ji Ag ss Le nel. dataset Lx 
:(Alt + Enter) KJ\ (Lxës ; notebook lb 


dataset 
LONG ès ilrer Less pi 455 Les” 

array([C 8450, 7, 5, ..., 0, 548, 11, 

[ 9600, 6, Bi us 1, 460, 

(11250, 7 5, ..., 1, 608, 

[ 9042, 7, 9, ..., 2, 252, 11, 

[ 9717, 5, 6, ..., 0, 240, 01, 

[ 9937, 5, CR Q, 276, 011) 


CV) Les 5 dy 5 Cl ol (XD JS You Ji LS Lol SLI àe sague OS ei 
re ee A\ EE phaall pe SM à al steel cs bles p 35 canal lg pla 
ie LS NI dagalle pla 2 aus pète II soil ne EN 3 saulls X 
X = dataset[:,0:10] 

Jelsill Jé 5 JS. Le pif of liant 59 ee EN ax Lise Ka jus 55 
LV Os 3 ptaoll stact J ès Jolsëil de et JS Bobedl sie I ès (0) 
ŒULYI Le page dite pra do a lis ALU J5 'eë UL «6 ball Le Ÿ 
Ji LUI de "0:10" ie ŒUd Ds 8 4all soc VI chrel 45 0X Glensss 
0 oeil pe Bee VI AS (10 3 paul gas pe 1) X dlérsss 9 LI 0 oo idee 
9 10 op itaof La CIN 3 Eat Stoe NI 55 10 
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LY QI Us sèes je EN 3 soul or po pô 
Y = dataset[:,10] 
d 5 Lt loluls (X) JlsN ailes Ji Lol LL de gague ON Lens A 
an 38 JU ailes lès of ge ASTII a Aeulleoll GEI 5 lui CV) 4235 
A0 QI 1 pe Lier M 5 gel LU pl55 CO YNL LI Be Je olnell Le 
Los 4 Re C3 5 Ginmaall AR ob aval je Jage Kia .2 À 1 3Ù 0 52 Al soll sus, 
scikit- Le; plicul GOLLI LS G,L et es leall JSLiall ax ns 
Ni ds .Learn 
from sklearn import preprocessing 
pis El de .sklearn Le3> Gicnell daullaull 3 5 plait Ai of edol » 8 J où 
véles por DS on LL de sege ts Sd min-max obée Cons Do 
15 0: Jl-sdl 


min_max_scaler = preprocessing.MinMaxScaler() 
X_scale = min_max_scaler.fit_transform(X) 


OUI Re goes 535 DVI eu Lnaall ESS Cu ideal 15 O Lu Loi LAN 
(gg lle Lei « X_ scale du Sc 5 ol LU 5 ES .X_ scale ü sie EMIEMEN] 
EI LI Laës 


X_scale 
Æ + Et 
JU cl Sy we EQI LES Je 
array([L0.0334198 , 0.66666667, 0.5 , «.., 0.5 , 0. 
0.3864598 ], 
[C0.03879502, 0.55555556, 0.875 , ..., 0.33333333, 0.33333333, 
0.32440056], 
[0.04650728, 0.66666667, 0.5 , ..., 0.33333333, 0.33333333, 
0.42877292], 
[0.03618687, 0.66666667, 1. , ..., 0.58333333, 0.66666667, 
0.177715091, 
[0.03934189, 0.44444444, 0.625 , <.., 0.25 , 0. 
0.16925247], 
[0.04037019, 0.44444444, 0.625 , -.., 0.33333333, ©. 
0.19464034]]) 


Le goes JUL Le gogue pr (25 DLL guise (35 SI Ale all SI Los VI 
Qgoma)l scikit-Learn 5 phésnis (je). LuSNI Le pages (Ge) Àe sages oo Al 
4 gares JL Lol SÉLI e pages pds tout ss LS ls «train test split’ 

rates SU > JL p 385 Vol hs vees do sages us 


from sklearn.model_selection import train_test_split 


QUI pile L Lol LULU Le some Ë 


VU éulol Quog)l Eu : EJÜUI Jo dI 


X_train, X_val_and_test, Y_train, YŸ_val_and_test = 
train_test_split(X_ scale, YŸ, test_size=0.3) 


glerl ce 7.30 5 $cuval and test 2 of scikit-Learn oo » SJ cbr 3 
Ge Lu de lee ei Jai ésmiall SLI 3 0558 ULAI Le sages 
CS ie IL LOU DOI de some pr 3225 WII ee Gels ol ep 
Die) I US phil ES EE Le gages Aladre jhos Le parce Ju UN 


:val_and_test 2 


X_val, X_test, YŸ_val, Y_test = train_test_split(X_ val_and_test, 
Y_val_and_test, test_size=0.5) 


DUSNT de sommes Gill de somme Ass val_and_test es ri ei 5 SI 
gode 21 LULU Le sagee) col ane cou Je] DVI Lou «Lars L 

X_train " 

X_val " 

X_test " 

Y_train " 

Y_val ” 

Y_test ” 
Gays le L ilaoluf a Le (of) Lg JS cb sganll 545 CES (65 of à 5 Si 
JUIN 5, Reis 


print(X_train.shape, X_val.shape, X_test.shape, Y_train.shape, 
Y_val.shape, Y_test.shape) 


(1922, 1@) (219, 18) (219, 18) (1@22,) (219,) (219,) 
ge leger JSisges Les ob, 5 1022 de Lei ke pare (6525 455 LS 
gala 10 Je X el anal (6 gens US Meg 219 Le NI, Gil le gagne 
ds sd, 55 Lo Le Y ol roll (655 Lens «ll 
2 & plat Le os #04 dal JM Ladl ESS uns ei OI 25 4 de 
LUN pelle Le 5 Les ASS 4 5 Lol Lo ni) LI ce SG 
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air 


HAL Lib Dis LI 24e 22LN  el,scall AL 
Qgmas 10) (ya 32) mes 32) Qynas 1) 


LI o da LS us 8 pLixs 


ReLU Li lo pe ins A 32:1 Léa aid # 

ReLU Li:J| ls res À 32:2 Las GLN " 

Sigmoid L.i::J| ÿls ee hres be L'iolz all &L 
re Les «(Sequential) Jburell 35 seul passe SUR gl ads Lies Lie DVI 
ge Daleall 3,9 (eu Les sf st Lt GI cèns (Ji des etes Lil 
:Keras 


from keras.models import Sequential 
from keras.layers import Dense 


JUN gl Je (busall Les se Of sun 05 das 
model = Sequential(C 
Dense(32, activation='relu', input_shape=(10,)), 
Dense(32, activation='relu'), 
Dense(1, activation='sigmoid'), 
1) 
DÉes LR Qui ebef 5 I Cèbie ou cas Lou, GI DUT JR fe Gas 
QU pl Le ool 5 SU cébese is 


model = Sequential([.….]) 
GEL J5 LL) Jill aboss p5saill ice led se co ps Loi Le la qu à 
etat 


Dense(32, activation='relu', input_shape=(10,)) 


VU éulol Quog)l Eu : EJÜUI Jo dl 


JS ReLU Jante) Us cbuee WE 32 Le JlSUl io LED Lot 4 Jo dial 5 
less D Ji 5 " Dense" if of BEN .Jlsl sales 10 Lu oY 410 JL Yi 
JL 
Dense(32, activation='relu'), 
ReLU Lil Vos uns Le 32 Les (SL done AL ail a Lou &sUf bi 
cle Si pti Keras 1 Se de JS Y JS ès Le ques Ÿ af BY 
PES! 
Dense(1, activation='sigmoid'), 
Dés Us, 8e, Les À Le JS done AL a 2 D of c4)Uf à dsl 
LL LL gril JS be p pe ESS «09 5 LS" .Sigmoid 
br et JS Lg olaul (Last su LI pts colonel bode di du dNI 
eos) #15 goliseul 45 Less # 
Ldécall Us dis 
y je BU 5 es ess 5 2 52 eoläall # 
sg Le « model.compile iëbs slexul J| ct «ls NT og al ESS 
Lt) 
model.compile(optimizer="'sgd', 
loss='binary_crossentropy", 
metrics=['accuracy']1) 
:model.compile Xe es ee LIU ls Yl ce 
optimizer='sgd', 
Gall sl as Je és) CSloéall slot us Vl Jl'sgd' is 
loss='binary_crossentropy", 
Do OU phosul hu (0 À 1 6 db Li ol ut 
.'binary_crossentropy" 
metrics=['accuracy'] 
us Al oje as 9285 Le ON (sui ls pe Cie I Ge Bu nes dus di 
lat 0558 
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hist = model.fit(X_train, Y_train, 
batch_size=32, epochs=-100, 
validation data=(X_ val, Y_val)) 


SU ss Ji etes SULI Goledl 96 AI fit" Us pass EUX plat 
le gorell pa ds ES dé V trains X train Wie ls léle Ou Cl 
-(epochs) Les, AS CAN Gill 5 = Jsbs (batch sise Jrteoll ibuls) de ol 
e Jlall LES LI de pis San ae D LU Gal SUR ses ds 
pie hist ce Genie p 95 Jeu eLéoL DIT ed 9 485 0e cs Gil SEL 
gr pb il als Ut ais 5 ON dsl pull Gias Loto Lxell Lis 

LL LS EL 3e 925 of ce Ile oléall 


Epoch 1/100 
32/32 
val loss: 0.6974 - val accuracy: 0.3699 
Epoch 2/100 
32/32 
val loss: 0.6943 - val accuracy: 0.4110 
Epoch 3/100 
32/32 
val loss: 0.6915 - val accuracy: 0.4703 
Epoch 4/100 
32/32 


— 0s 5ms/step - loss: 0.6990 - accuracy: 0.3542 - 


— Os 2ms/step - loss: 0.6955 - accuracy: 0.4022 - 


— 0s 2ms/step - loss: 0.6926 - accuracy: 0.4706 - 


— Os 2ms/step - loss: 0.6899 - accuracy: 0.5499 - 


— 0s 2ms/step - loss: 0.6874 - accuracy: 0.6468 - 


val loss: 0.6864 - val accuracy: 0.6758 
Epoch 6/100 


32/32 
val loss: 0.6842 - val accuracy: 0.7123 
Epoch 7/100 _ 
32/32 
val loss: 0.6821 - val accuracy: 0.7489 
Epoch 8/100 
32/32 
val loss: 0.6801 - val accuracy: 0.7717 
Epoch 9/100 
32/32 
val loss: 0.6781 - val accuracy: 0.8037 
Epoch 10/100 
32/32 
val loss: 0.6761 - val accuracy: 0.8128 
Epoch 11/100 


— 0s 2ms/step - loss: 0.6849 - accuracy: 0.7133 - 


— 0s 2ms/step - loss: 0.6828 - accuracy: 0.7524 - 


— 0s 2ms/step - loss: 0.6807 - accuracy: 0.7564 - 


— 0s 2ms/step - loss: 0.6787 - accuracy: 0.7779 -— 


— 0s 2ms/step - loss: 0.6767 - accuracy: 0.8072 - 


32/32 [= =] - 0s 2ms/step - loss: 0.6746 - accuracy: 0.8317 - 
val loss: 0.6740 - val accuracy: 0.8219 

Epoch 12/100 

32/32 [= — 0s 2ms/step - loss: 0.6725 - accuracy: 0.8239 - 


val loss: 0.6717 - val accuracy: 0.8265 


Époch 95/100 


32/32 =] - 0s 2ms/step - loss: 0.2931 - accuracy: 0.8865 - 
val loss: 0.3051 - val accuracy: 0.9041 

Epoch 96/100 

32/32 — 0s 2ms/step - loss: 0.2920 - accuracy: 0.8816 - 


val loss: 0.3043 - val accuracy: 0.8995 
Epoch 97/100 
32/32 == 
val loss: 0.3044 - val accuracy: 0.9041 
Epoch 98/100 _ 
32/32 == 
val loss: 0.3030 - val accuracy: 0.8995 
Epoch 99/100 E 
32/32 == = 
val loss: 0.3025 - val accuracy: 0.8995 
Epoch 100/100 E 
32/32 [= 
val _ loss 


— 0s 2ms/step - loss: 0.2911 - accuracy: 0.8855 - 


— 0s 2ms/step - loss: 0.2901 - accuracy: 0.8865 - 


— Os 2ms/step - loss: 0.2896 - accuracy: 0.8806 - 


— 0s 2ms/step - loss: 0.2884 - accuracy: 0.8816 - 
0.3017 - val accuracy 


VU éulol Quog)l Eu : EJÜUI Jo dl 


L5, Je DB 0 of can BI SI HN JS de las Qu TS sell ol 5 of 
Lan IN Lt ES dell os Gel se BI 85055 assis 
ol æbdl és LES (3 «651 5, VAUT ais 45 été LU obalees 
EN be pas je Lo JL ads of ses HEUUI Uleal ss 955 Le él ebul 
dés p35 Le LB NI de sage 5 (le pal SN de pages fées ESS 

AJUJI Loue II 5 2 4| céleri 


model .evaluate(X_test, Y_test)[1] 


OÙ pass BUS Jol ass est pe 5 AU Of 4e I Do des 1 ea 3 32 
mis Es 4 bille al Jos Se le hole AS Le Géo 6N D 
SU aüties LUI su sp à Sc D j9N Bugs EDS 5 BL eo gogual ( 51 st 
Sel cast 45 CS ls) ES pes LS Lolil notebook Lrés Lei p55 5e NS 3 
seb LE Je 1/95 LI 80 ce 31,5 et Go le (bases di cut «0Mef pes all 
T/T [==============================] - 0s 2ms/step - loss: 0.3281 - accuracy: 0.8584 


0.8584474921226501 
DIN raall CESSE 363 pones D calaul A ILES 


do, Les oN bu LS Las overfitting ge ALI SN (jLis 
de olsedile, u esut Lu, 3e à PLEI LSe Le Soverfitting Jai Les sai 
Ji ll .matplotlib &;> pass Us nue 5 Lai gl Slsull sas 
ral 35 Ait 3 QI 
import matplotlib.pyplot as plt 
Ida Ji que ea .'val_loss'slaze VI Îles ;'loss' ENT LS 
:5 SI us chi) 
plt.plot(hist.historyL'loss']1) 
plt.plot(hist.historyL'val_loss']) 
plt.title('Model loss') 
plt.ylabel('Loss') 
plt.xlabel('Epoch') 


plt.legend(l'Train', 'Val'], loc='upper right') 
plt.show() 


oil les Lu, 45 fee Ji Doi cool 3 au Clés de eu Soi 
Model loss :blasll (ja Glse JU LUI sie .'val_loss'slexs Yi 5 ;'loss' 
phil Gros ALAN Ce x 5 y ousall Los Lan Le ablls et oest Lies 
Den 50 5 «oeil def oi 4 03 se us cle oui délaseal ès de ustull 

ds fée El 3e 45 of ces .Llsoll 2x) jupyter notebook at 
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Model loss 
0.7 - — Train 
— Va 
0.6 - 
n 
pa 0.5 + 
=] 
0.4 + 
0.3: 
0 20 40 60 80 100 
Epoch 


QU 3 SN plis Lnall jye Gao 33 Cu Al 45 Lu ads e AU Jai of Ses 


plt.plot(hist.historyl'accuracy'1) 
plt.plot(hist.historyl'val_accuracy'1) 
plt.title('Model accuracy') 
plt.ylabel('Accuracy') 

plt.xlabel('Epoch') 

plt.legend(l'Train', 'Val'], loc='lower right') 


plt.show() 
LE GS {ja ds st ("2 À Je sl CT 
Model accuracy 
0.9 - 
0.8 - 
=. 0.74 
e 
Lol 
5 
ü 0.6 + 
< 
0.5 + 
0.4 —— Train 
— Va 
0 20 40 60 80 100 


Epoch 
es es Le de LI GS La l Re segme GLS sai Le edf at tt OÙ CB 
EDS pes) Lei ses GES IS Ji overfitting D gd N come 1e Gil de sage 
GA oMalegdl eus Gb 0e dus Los 
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Le some po qu Jin pe Nes Las IR pont Les Anaall INT LS ei 5e 


.model_2 al la (ous ee 


model_2 = Sequential([C 


1} 


Dense(1000, activation='relu', input_shape=(10,)), 
Dense(1000, activation='relu'), 
Dense(1009, activation='relu'), 
Dense(1000, activation='relu'), 
Dense(1, activation='sigmoid'), 


model_2.compile(optimizer='adam', 


loss='binary_crossentropy", 
metrics=['accuracy']1) 


hist_2 = model_2.fit(X_ train, Y_train, 


batch_size=32, epochs=-100, 
validation data=(X_ val, Y_val)) 


mes sl ST Ji Adam dx . Adam : plis LS LS Bo 25 «ba 
Les 5 Je Guns pue SN ciel ARE be ae tadmall Le gd el 
29 of LAN) JUN 28 plièset hist 23 sl collée Leurs 3 Lis Jtss 


:(hist 5e Ja hist 2 pass Lfeliul &uë se 


.plot(hist_2.historyl'loss']) 
.plot(hist_2.historyl'val_loss'1) 
.title('Model loss') 

.ylabel('Loss') 

.xlabel('Epoch') 

.legend(L'Train', 'Val'], loc='upper right') 
. show) 


QUI 3 le Gb pu, Le Jes 


Model loss 


Loss 


T 
0 20 40 60 80 100 
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el sel 5 io il NI 215 .overfitting de Leëls Le os 


pit. 
pit. 
pit. 
pit. 
pit. 
pit. 
pit. 


NI 2 QI plasub AI Lou, 1] A5 5 ds ele de LS 


plot(hist_2.historyl'accuracy'1) 
plot(hist_2.historyl'val_accuracy']1) 
title('Model accuracy') 

ylabel('Accuracy') 

xlabel('Epoch') 

legend(L'Train', 'Val']1, loc='lower right') 
show() 


:'val_accuracy'oles Vi 33 'accuracy'&nl BuUl os pèsf 6,5 6 5 of Lai Lio 


Model accuracy 


S 

le] 

Le] 
1 


Accuracy 


0 20 40 60 80 100 
Epoch 


Gb êde Leds AR LV G.overfitting JE) Ulansl ul ax oo pe Les «oN 
rl .dropout /$l$iall ill 35 phéns cpl lis Gels es -overfitting + 


:g5le il BLSY als (SI 5,1 HE Les 


from keras.layers import Dropout 


I pol Le CU La se 2e 05 


model_3 = Sequential([C 


D 


Dense(1000, activation='relu', input_shape=(10,)), 
Dropout(@.5), 

Dense(1000, activation='relu'), 

Dropout(@.5), 

Dense(1000, activation='relu'), 

Dropout(@.5), 

Dense(1000, activation='relu'), 

Dropout(@.5), 

Dense(1, activation='sigmoid'), 


os (ui) ES dla 82 Eiseills 3 bp ne GA pue Se Ja 
soja fes ste AL Lacf Dropout &LSY 


VU ul Quog)l Eu : EJÜUI Jo 


Dropout(@.5), 
Les sul Lil WISDU 0.5 Le, Lou ALU LI Gina Lol of Ce a 
2 cs J cola QE Leleis 9 lyraz 


model_3.compile(optimizer='adam', 
loss='binary_crossentropy", 
metrics=['accuracy']l) 


hist_3 = model_3.fit(X_ train, Y_train, 
batch_size=32, epochs=-100, 
validation data=(X_ val, Y_val)) 


HI, Ji olblée us Les oVl 


plt.plot(hist_3.historyL'loss'1) 
plt.plot(hist_3.historyL'val_loss']) 
plt.title('Model loss') 

plt.ylabel('Loss') 

plt.xlabel('Epoch') 

plt.legend(L'Train', 'Val'], loc='upper right') 
plt.show() 


EI pl Le cle nall AIS ose 


Model loss 


—— Train 
—— Val 


0 20 40 60 80 100 
Epoch 


ges) oi Las Re Gil 251 2 is de je Gascl Îles 51 «aus, Ge LS 
53 9 ne BA qu (ID os ST 25 sels 4 ob se Lè 75 sal a Ji N «05 


plt.plot(hist_3.historyL'accuracy']1) 
plt.plot(hist_3.historyL'val_accuracy'1) 
plt.title('Model accuracy') 
plt.ylabel('Accuracy') 

plt.xlabel('Epoch') 

plt.legend(l'Train', 'Val'], loc='lower right') 
plt.show() 
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Model accuracy 
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Le Ge ot 2 D a da lle JR AI Lai Llès La e 2 pis & lie 

laall 5 CESos à pe el de gages 5 A6 Lai LE eat La 

US yes Lu 

Jall äa ls 

D lement LA Jus LES SL lus piles (a delle Yi Liu Ra » 
«St fu 

his, Lise db, 715 lbs Jo) db Je Lelleci Luss RS fSsss " 
" 

OÙ Ses «ls « Perceptron pui Luaul LASJI Lie ep Lul le Ge 
ls pes Sal de LS AS le (65 

de il pue (à Perceptron ZS15)| Luaxll SU SU ALAN on 
Gas les y$es Ÿ CHI ces 

Jess M DM 5 6e de gamme le pstall 38 Lnanll II Les les ce agi # 
al Ggnall ill pes DRAM 315 Llles Lau RU 75 

N pl Eau on dast5 Cas OS UE 


VU ul Quog)l EU : EJÜUI Jo dI 


JUS 


bell le de (ae SI sf fe Larall lei Jus List 36 sa Le .10 
SN 296 8 all 11 

fbto)l WI L 38 all cliall La Le .12 

Sol ses 360 ane JSLta EN RL 5 total Létis)i ls a Le .13 
anal AA ll Les | 5 optimizer symomall ab (541 1949! Le .14 


HJ-0J 


ol mms Iris LS de gege te de ai ol Lies 1 LL 5 
nd)! eLSf Bull se Géoels Cu juil Le vogue) si 5150 


SLI Jus) pile SLI GS pus piles 
from sklearn.datasets import load_iris scaler = StandardScaler() 
iris = load_iris() X_scaled = scaler.fit_transform(X) 


X = iris['data'] 
y = iris[l'target'] 
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do200o)I 

Convolutional neural) &éUN Lau SRI als pu «hadll Ms 3 
JR NN RE LS I OU Sal Lalèl ais es. CNN Les jf (network 
LL LU de Ji LUUY Lol CRU Jess LEUUY Lioxl AI à 
SUN Lea SRI LS Le JS Sell de all Je Hall Le DLL 
-keras GUN Lrax| ART pl Les Je Las pie all ble 


(CNN) soil au cl cuil 

Lib, LOU Al pa Jos pe «JS Alorall Bdicsl Lalui Loal RU à 
Laj 55 aobes OÙ Ca (sl Wi,; 055 4 Jlaïl JS WU ALL dès ESRCr 
D sole, lès Le JS 64 x DR 643150 ce 55e Lodbède di 2 ES .alecil 
Balles Jta5 Las 1 92 802) aux Of J 985 1 Las 60e Du JS tas eg SN 
Lan ISA JS M LL OÙ «05 505 (ox 3508 x 3L3)) 64 x 64 x 1 = 4096 . 
500 Le AU I of Le 81 snte 4096 Les 3) sel ode Je pulls il dl abul 
dsl ol poë Ds le Ale LUN OUI Guidl mer ON VE lie 
Lt «ls pes DIN Lasll ils JB-sY + 4096 x 500 = 2048000 
Gi Lalf Lou IUT GRie OL se (ble pli dire CASH 
De pis ele le 806 0,55 Ÿ A5 AI Leg Lelef &eal 2H DV Le Lol 
US (Al odee Lite OL 025 08 til SEL Gilet (9 Sal 
AS plait los Jeu Es Roll Lai 8 Go se le LS Due 323 HS 
> )lpalls 25 ls Coll ie dope que af US ton ds qu 8005 Dub de eo 
US AI LS JR be ce ds Malade Sue Gb «US Ji LS YU 
alé les (CNN) BI VI Loal URI QUE 05 HS odee Agullue Je ce 
Lalal Lnanl AR 4e 25 a ROUIN Luna) SE RL La) SAN fe 
Je Si Le Job Are DE bles GLEN QEL puis AI ici 
A ON Les Lol, lo le CRAN eds ul de coll pblèss yall 
Vu SUV paies Les OS a RUN RU Les gi Gé pedéces 
LL pe JM le ant, LL Gt heal Do os 

Lai Li NL es Les pes a di hall 92 RUN El 805 Les Le 
8 HAN foto Le LUI À5 Lol LI duflaes AU 4 81e guuoll Sd AI Lèseol| dl dus 


Joy ab êâune oc Sub - Lu (ia SLuulull go : Sans paul 


D LS CNN GEI al Lelel Lol RIT Re le Lu & al 
Gens pl Ne Ge pull 15e 
de ge DEN ai «4 el (lgeds Of Cons (ol LUI VI SN ol ne pa ce Bols 
om) re 0e DS CNN 2 AS LI Df La ces (38 52 sl ol das 
Les A CE ADI sa & ‘(Features Extraction) |; gli " 
Jde Ls,i 15 -(pooling) els (convolution) SLEJY ls ce dut 
Jr ee le de Sail a pu (le 52ull 58 lg « 5, mel à 425 5, 
x 5 Aiell ode Loge Je à past LL 35 Ds 2 SM 
Se JS M Ji NT a Qbes 8) mail US 5 Logoll ol nell de 
Gel I 725 Lans à D SN le pu 3 cl goll Je al aille 
us Si ailes pe Ale ailes 
Ball pléul 55h de ces LS älerll Al Lex Le gel m 
De Es 8) pall 46 0355 ee I à Line a, Le VIS 5 el Lai aie ses 
JE C5 Lebel Le sloe 5) ag ALI oi al C3 email ailes 


4-1 


ds 
Call Je 
JL || | 
Gall ghz ài SE 


LU Lan II [Re 150 del dual 1-4 [5 

16 NV Lean AR Ge ee ailes M LIN Loal ARUI es 

CNN (à ânes Ale JS :(local receptive fields) WLM Y Well SYloll 1 

LLoil less Laal LASU pruus Has « JS NULS op Gshome Lälete je opus 

Llall sde Lens nel JR Ca 8 al Lol, Gilets Lhsul Je 

dll JU-SY QU 5 Bdoes sf Lune LL Le 53e Al eLadl 53e sooall 

Las IS 5 el (650 3218 pans JV Jet 5e SN oell 
Ai 
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Local) [doll LLS,Y + (parameters sharing) &Heleoll 45e .2 
Ms Sd Jrbes la s 56 ue Le DL [ss :(connectivity 
goal JL NI Je pe ils dire pl) ee le Pl ok se JSis 52 
hélas dledll ds JV ol, Le (Jess AI HUE LES Aaall LE 
D Lei LIU pe Alaul y DIN Le a pileall 45Lhe LELI NI 43 da) 
ds pe Los Le JS oi pseis 38 5 Le ou «  doall Jai lol ile 5 
L5 5 A1 Lab I Leul U LRe Je « Lmeall LAS a Le 5 Le some Je25 
stats Je 5 olpell eds ets JS JE Lau LIU pra Lei 
US ST Lu pull Jens UE el nor 3 

al ii 3ù L O& :(pooling) sil si (sub-sampling) Sal nez 3 
Dai à las Jen .CNN 5 le GUN LL de 35 mail si Le al 
LS MAR D JI Je 2 all 3 g US DU lol SL JS de Lol V ai SU 
Lai 3 el ads JE ASE Leoles of ee AN aleall 4e JUS 5 mali 
Less ple JR IR bof 5545 lc Les « overfitting 56 5 

ag mao Jo Lail &tocil mlcil A5 cé Lono Uga GélaUUI clAuiul cuc) 

0 Sal au lé nil COS QI oeil léui 68 éloul œul y) Don) 

Jloc ll léuhi Atôoûg Ja ç$ laoliüul pui QUI Coll aol clAuiul cpu 


.8Lo cl pale 68 Jloc ll lui àcuh LS Las làa LLogs 6iag don 


«SLAUUI , Jolc 


ONE 5 pal AE CI eut CRAN pe Lo some II LUN SAN Lex 
Al des tel de ass s lil puis el ponts IA 1e de gogo) Lens 5 5 
clé Jen ce Jens Les CU) JS plu Uédtall 5psal pa JE 
SUIVI Le 38 LUN VI SAT Luf LU La) IRL je el all 

Bas ge ile as 4 es Les Hs Les lui 3e LUN CSS GLEN 
ce DS Ds el GES Jus) os Le JG ODA ce se 
DNS (2-4 JU) LENS destell at 45 Le ae 5 52 sol JS MI 
gala ge LUN LUS 2 ee Joss (ae LEE) 4e 55 0350 JS Elaall ea 
DS pseme Al Ge e LE ailes 5,5 LMI té ailes Gogo I 
JL NT REL GeLENURS Je ç5 sol ui LE 0,6 A JB ailes 
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1: 1" MORE EN ET ET EN ET CL PEN ETES PEL 
\ 


/ HE 
/ BON 
Î Î Î | 


SUIVI be .2-4 Ji 


SSI] .3x3=9 ELEM ailess 55225 2 JM ailes cel Jall 3 
Le «29x92225 Jals 95, 055 Bobes Je basses (Je dure Lu EL oi 
deb LUN U peus Jlésl Lot JS Jedi 554 La ele ee Lol JS 
Li les 9 plècul Jsil li 

2) 8 cal DS bass Los ball JEAN sg Je STI 38 GUN 56 
LIN QUI 6925 Cod Sd plat Vols je Va 05 pes Lol ol 
«phil Eos] pléoll ele a sës Abel 

Lu Of Sas Bdies EG I Laleoll CHU) LU (5e) Gb (63% 
Gle5 Aaroll ADI Ge ont DOS Jos canal Ge Lagall elioll lil 
pobal pra ts p 95 80 24e Ludte pe Jaall Je RSI 4 La 305 LGV 4 La, 
ge Dege Ces Less sil le poball ode prass as V ST pe ilS el La 
ps Las AS ,5 dite CE, Sa eltall Jeu Le 5 ail e13N autel 
Last Re Lis CUS Ja :7305e es LM GE ne JR 5 nall 
Lis SUN 9 AS SR AIS Lutgll of KEUS 4e al ARS OUI glass, 
gets D go (élue le Ds beat JR25 of ces cyJlhadl ou Je (5 Eb 
DUE De Adall he dés EX LA Leg ENS ce JS os Hall ds are à gl 
Os y si Vis SN 55 Gant bel 535 Ja bell bla 455 a sf «all Aeulles 
pes 32 Le Dire oall LUI VI IA Les MENT God Sos le al 
dell Le JUN ex de all pe sde Dita Ge) 
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lé äëun 
NU pe Lo some Je Lil aa (5 525 .CNN Sels GA pal a CL VI D 
= > «(feature detectors) lxail US À (kernel) Jr cb Lai à Le 
GEL) RS VI dagall Je «AT re JM SEL Gble per Je 2 Jos 
ie 0 25 «8-5 M 8 y ge) Uma] LI (83 37 sall paies) dues GUN VI 
pol 31 Sa de EU la 3al de Gil je ps West LUI Le sega) 
DE > sMége de Use la SUN RL is Lien bles Gus Gb os 
Les AT ae pal ui US I SN 8 el JS coli Hal can 1j 
jpe dial be de oèxdll lors lol ; all Lol LS les Les 5 of 
ce Le ÿ leg Je pipell Gé Le ils cal ou Lite EN 5 ca gl 
gel ait ul Layi ai dall eds JI Us lool paille 7 nus LOL 43) pal 
Rai oi (Gi) pall ailes pit pis 6 laut 5 ete 
De don Lee (JS lat es Meleoll 1e Bsdème Âo some (Le Dial EL JS ss 
sol all Li LM aus NL 
Jai GUN pau Élot ous) KL emo es SI pa © 
Lie) Jeleoll La 3005 prous JL MI pile mer le Gas A Ja 
D SI dbsi sue 505 pe 4 LRQ Se slt 55e dell Jul GI 
es Je 
el UT Suleoll 548 pe le JR ON sue Giles SI 54e € 
ol ol des ES JS Lolo DIN ALL LS pad D Gas s 
D See ot ne ol lee 25 D'OSN OL « Aa 
> de Ji OV" Gb De Lasls GUN jet Re lai e 
JS ls JS Gle de ONE ue of can V4 US es JS Yl 
AN JS che, sde SE dati ses (Stride) 5glasall aiues Le pas 6 5,0 
Lil Gas SN ol 25 LM Lo ol JS os Les 
Lis el lol bal de Ji one 12 eu 4Ÿ aol le ie lie 


rebol JR à psgiall 
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S=1 89%1,k=3 JS S=2 ëghxl,k=3 Jiadi S=3 89h, k=3 JinSi 
V: plluiä,s £: plladl dus Ÿ: glladl dus 


gel SU paiei « GUUJV Le Lai (5 Lidl lai e 

eds 11 Stolet,s Ge de LT GRR sioull 31 (Padding) 

Dial Li sul eu Le QU 4 ST nes lait 3 ee sbaoll D145 

BL Gb de 8 US LENS JL) U Let LAN Le Eli 

SN de LR sl VI EST aa Leu « daomoll Jo> die este 

P Go Gb Jeles Se de JS Cile JS de Bladi ON 25 dx 
ol JEAN 5 pére podsil le Je el 

P=1 ghoui S=3 5h, K=3 JA 


OT 


GE les La ess Lol 5 ait d'oeil 51 sec) :(Dilation) 54e)! 
Bliol pu « JS 4 8 ST Jarul Jles Le 0 of GUN A ns 
JS ee d Blue Je) Gb one EU (de Jai en EE SU qe de 
JS tel ob di Les .0 sel LUS LE GUN ès PS e &le 
Qe rSl lle JRës Of GUY LS Res à dll 3505 JS (4e 28 pome 
e bode HULUNI pogèe ele 5 SU Sue US de Blèol pe Jl-sÿl 
4_4_3 (Ki, 5 «(atrous convolutions) 4431 GS Yi EL md 2 
| als EM pa 

ee ball b P 3 d'oxerll e SE à KI JS eau e W JS YI pee) 5 3 
QUI pl le ŒU LM a ol 

W, = RE CRE . 
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0: oil, 3x3 : J'AI 1:51, 3x3 : JS HI 


2:54)! , 3x3 : JAI 3: ol, 3x3 : JAI 


Aabées plat LMI Z5ES ès Le sert .3_4 JS 
GUN Lol ARAU D Le ble jf age Lie O6 4 GUN phase 
B gène Lx Lelel Lea SI ASS .(Sparse interactions) 4 + Ali 
elite, Joie ie LAN JL} oies 1e Ml oies ol Male ca 
pe ie OU Le LUI NI Lau ARNO US pes Jo) des JR ans 
pelle D! Ke elall Je le Née ge SI Leds ob ge ati 
des LR JS pliéel Leuls ef LS QI old GNT jf sue de 
Dee Ai Ge da Je oies ge le jf os je DS CA Ball ce sue 
Jess Je sé 5 SI AI bi a JUS Ÿ let a Joue cs Lie 
Ita LUN Lou CRI pass GE ne gler)l MI us Je Kai 
SHlaall xs Jionl 5e all lea Lu pleut Dates mel col es teleall 
DL Gal 2e Di .(Equivariance) ef «3,21 aus Ji al Las 45,24) 
SU is Lospe Ejall oùa 2 Li us cle seuil Lil ds ee édall 25 
gr Le Ds sal GT ss lee üse JE 65 I 6N LI ts 
pri 
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keras 5 SLoiIääh 

EI pl de di lleall tte 4 Je) Vi de Las Keras Goilell 2 L LES 
from keras.layers import Conv2D 

QUI Goll else DEV LL eLE5 EU de SL as 


Conv2D (filters, Kkernel_ size, strides, padding, activation='relu", 
input_shape) 


AJ one sl JU) de ces 


Jul 5 :filters " 
(SI 2) DLNNI EL 5e d'A A ès ré) :kernel_size » 
Lol il ds le ds pod 6 8 8 «of sde SIT CN 5, :strides " 
same ;! valid :padding " 
relu Lis dis pis, L és activation * 
dus Ju) élle Don gisal Gi LS EL LUI GUUVI LL pliéul de 
(DIN Che) lee s Les es dll US | 5425 À sage cube LL] input shape 


aëthl ça So aëh «45 pol ll input_shape àhuug cyLoÿ ac yo 24 


«AiAub ç8 cloil 


(aol) &oaÛl an 
55 #N us s dla all ledll 4e JUS Let GOUINI GEL Lis (ae Jess 
rs 5! il us Les ele eu LOL QEIN Elec de HIT Dal ce 
UE Leuleal 4 ollao)l Gus 835 Je JUS de prorcll kb des .(Pooling) 
Le plleall Aguleall 535 Jude LUS 629 col VI LUS êdelees lei LI pe Dogs as 
ail ddl purs 165 QI par nd Ge LUI doseme Zalao) 
er Eu SN £sl (average pooling) deu sel 25 (maximum pooling) 
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ei pe Led LI ts 852 JS (2x2) ARS perl ge eiNi ol sa 
ce 175 Je5 er ode Je of métal ge AU sent 2 JS Et ce 36 
Seblall GS ul Lab (2 Loi LIU Le Ji Bile, Loi LUI 

(423 JR) PSN Lee dou ge obus pu à dou all Le darrall proal 


DE FA 
DD 
DAS 
DES 


qu dues pond) ail di 4-4 JS 
CU )|s 5 ll DH JE le (Le sleés Ll pu : Dale Ils cg EL JS 
DE GB MS pus .2 55e 2 LUI poux JL se SLA Ut GUN SEL 5 
SR pr DIS af IE USM ess 5 Sa Le 5e Cu 25 a5ls 3 Lol ou 
idée DS Ÿ 6 5 ce slaoll os LÉSUI proul LED Jalees 435 de 


keras ,,5 ätélo I à4uiyl go jai anini 
Vel je JO tal, GGLUI 1a de gage OI of pes «3 pall cite) 
ee Lt Lee Le pis soil ne Lu Lo (scrape) Le sil èe5 Le os 


O9 ka, Are une Sas «ça Call go: San pal 


Ji is Gleliéul LS il LI (Dataset) SLI le peges Lys All de 5 
kb LS ELU de sors Jo .CIFAR-10 ob, de gages pleins ci pu 


SR 32x32 5 ke 5,50 18 mall Slagf # 

La à be à ae e 85 : Jets (le ie) ble 10 1obeusil) cb # 
À, bave dlez : paie LS JE 

10000 3 > bb, 50000 J denis 5190 60.000 2604 de pages pa 
JS SEL 


se Keras + [ja Jr 8) pal LL de sogce 51 ,iul ça à eLal Le sx _ Ji 
‘jupyter notebook Le JU ss 


from keras.datasets import cifar1@ 

(x_train, y_train), (x_test, y_test) = cifar10.load_data() 
Downloading data from https://www.cs.toronto.edu/-kriz/cifar-1@-python.tar.gz 
170500096/170498071 [==============================] - 2s Qus/step 
170508288/170498071 [==============================] - 2s Qus/step 


3 Gctrain, ytrain) Wal obiiedl Glntes CN QUI us ot 
As LES sp Les OUI Ge some Le Lab 5, Al Les .(x test, y_test 
LU JU-5YI pales 4 pères 


print('x_train shape:', x_train.shape) 
x_train shape: (50000, 32, 32, 3) 
he Le yes x train SU Le sans of séeall JS US 
55#0 50000 = 
JS 325,1" 
JS 32025 * 
NL ANS pal 0 JUL des ,e) LS 3 Ge 
(le Sell) la) G sos js LES (s 5 Lies 
print('y_train shape:', y_train.shape) 
y_train shape: (50000, 1) 
L5) Jobs Les OV 5550 50000 25150 JS Gal as ,e) 5, ba of 2x lie 
Jai el lee s pe Le Ja 
print(x_train[0]) 
CEL 52 a 63] 


(l 6 45] 
[ 50 48 43] 
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= ‘i 


ON + BN N = N°: 


pe çà Lyes EU Lie idée cut bi le og gl 5 aeaSUI (5 pe Loi 
:matplotlib à; plaisub [0] x_train[0] 


import matplotlib.pyplot as plt 
img = plt.imshow(x_train[@1) 


pal Ai 5,428 x_train[01 Gi, LI vo Üls _ pltimshow 
Me jo 325 JS 32 x 32 32 éjpall qu ON Us EAU Anis oDlof Lu so 
LL LUI SLI de sage (8) all ele Le al) Les ON! 
print('The label is:', y_train[0]) 
The label is: [6] 
Les Yl bien VI Of le El bas LI PEN boes ces 5 pen "6" Lana of ce 
QUI 3 de 
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EE 
de] 
SE 
Et 


5, È GU .(6 Lauall) pas 39e lb ci odof 8,0 of Jotal de 5 li 
Lo LI Le gogue DAS) al) 1 CU ei es Gb ue 8) mel TU Le 
:(b Lol SLI de pages UNI 55211) 0 55e Vas (Le 


img = plt.imshow(x_train[11) 


LUS Lt gl Les 
print('The label is:', y_train[1]) 
The label is: [9] 

Là Lef Le Loles 5, all ads Of 55 lui J'ateell plait, 

SA DIN Ball Lealles JI tes ds LUI SU Ge sages La, Of des DVI 
ges) sl cu Jpadll OÙ la 45 45,5 le Be cul Lions Of La Les rs 
SSL Ads pe Lnaall SE LR QI 5] Eden 15e Vie ex Los bal oi 
IS ax5 ÿ5 9 Le all 2x5 Of Ce Je (9 tbourl) EL of (1 tousll) 8 Lu 8) mel 
À ee Ye ES ls Je ASIE (5 Luc) 
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« Keras plu Jjball pleut pl JS Lau Less este GI paëll 
LB 25 5 223 es la Ha [1] 5 [0] ee pleut ge URSS Leu ce Jeluss 3 
0.6 ral NI SL HS à Loue «Jlarrl af Je Lneall IN 56 pus Lou s 
Lis Jo Ve és pes Jyall peu bug ce 260 dus del Loi dès Léf ie lg à 
10 pe del pal 4e à Res ue « dial Mn Ji cl dal éd lu 
| Ltée ci 

10 Ji gts « US Ji ge As AU CU je 5 JS Jlerel sa Ge ou 5 Le 
Ge of Les «256 Les LOS 10 Lui D IL Aeall LS 5 Lt ob pes 
és Lee JS plBi 10 53e de some LI] Landll Jones pi « EUX PLU Lai Etes 
IN BU I ess 59 all CSS SU .Y ef BI EG SI as 8, el CSI Le JI 
Lis ous 0 D cu ul aa 5 «5 NI pU NI ques 1 all ad 5 JM à Ji 5 Su 
_ Je ball ig (bol Jsde 055 « (one-hot) 5 5 


RIT 
1 Tu [16 00000000 


LE | a | 000000 000 | 
LS | 2 | 00000000 0 | 
D 5 | 222 | 00000000 1 


5515, Keras paul 4 bill lg pLaU 


from keras.utils import np_utils 

y_train_one_hot = keras.utils.np_utils.to_categorical(y_train, 10) 

y_test_one_hot = keras.utils.np_utils.to_categorical(y_test, 10) 
y_train_one_hot = keras.utils.np_utils.to_categorical(y_train, 10) eut es 
VS y_train_one_hot J! gs, Lä y_train > Lo] d 3200 Jet ti 
HDI sde DIU Le été Due &Ÿ JeleaS co slles 10 45 Ji .one_hot 5,5 plaerul, 


85 37 gall 
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(9 2) 5 RSA) LUI 5, goll bou js LAS 65 of 25 Li 2 na « OS 
25 SI da _ 
print('The one hot label is:', y_train_one_hot[1]) 
The one hot label is: [@. @. @. @. @. @. @. @. @. 1.] 
spl Lai (x) pme doileo 5 Ce 5 5 LL (y) lie Laule of du ON 
M es Lit 1 5 0 Ge pill 45 a Ladies I élu 
de leon Ji bles les con « 255 5 0 Ge Le Jai 26 Eu Ji 5 ON 
:255 


x_train = x_train.astype('float32') 
x_test = x_test.astype('float32') 
x_train = x_train / 255 

x_test = x_test / 255 


D pl os 4e UD g$ 325 « ‘float32" QI gs Jess 38 à pi Le ces 
ie 5,5 ei] dbSe « AUS 5 Le 5 CS 15.255 de Le JS Ru 5 ad 3 SI 
ot Las Gb de IN La pcil à) pol ob shell 5 

x_train[0] 


array([[L0.23137255, 0.24313726, 0.24705882] 
[0.16862746, 0.18039216, 0.1764706 ], 


[0.19607843, @.1882353 , 0.16862746], 


[C0.61960787, @.5176471 , @.42352942], 
[C0.59607846, 0.49019608, 0.4 1; 
[C0.5803922 , @.4862745 , @.40392157]], 


[C0.0627451 , 0.07843138, 0.07843138] 
[@. » 0. » Ô. 1; 
[C0.07058824, @.03137255, @. 1 
[0.48235294, 0.34509805, 0.21568628], 
[0.46666667, 0.3254902 , @.19607843], 
[C0.47843137, @.34117648, 0.22352941]], 

[C0.09803922, @.09411765, @.08235294], 
[C0.0627451 , 0.02745098, 0. ] 
[0.19215687, 0.10588235, 0.03137255 


[@.4627451 , @.32941177, @.19607843], 
[C0.47058824, @.32941177, @.19607843] 


[C0.42745098, 0.28627452, @.16470589] 


Lu 


Pr 


[[0.8156863 , 0.6666667 , @.3764706 ], 
[C0.7882353 , 0.6 , @.13333334], 
[0.7764706 , 0.6313726 , @.101960791], 


[0.627451 , 0.52156866, @.27450982], 
[0.21960784, 0.12156863, @.02745098], 
[C0.20784314, 0.13333334, 0.07843138]], 


[[0.7058824 , 0.54509807, 0.3764706 ], 
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[C0.6784314 , @.48235294, @.16470589], 
[0.7294118 , @.5647059 , @.11764706], 
[0.72156864, 0.5803922 , 0.36862746], 
[0.38039216, @.24313726, 0.13333334], 
[0.3254902 , @.20784314, 0.13333334]], 
[C0.69411767, @.5647059 , @.45490196], 
[0.65882355, 0.5058824 , 0.36862746], 
[0.7019608 , @.5568628 , 0.34117648], 
[C0.84705883, 0.72156864, 0.54901963], 
[@.5921569 , @.4627451 , @.32941177], 


[0.48235294, 0.36078432, 0.28235295]]], dtype=float32) 
AN Jéall Re (le cols Ja 2e sages Bols ui Lo sages Lu NI ce 
Lg pers dr gs due à Lode D LOI Gil de sage nds p 385 Ne LUI (Lol 
NY ai p sie 
Lolens LL LUI 5sell Lilo es Vif le Con à Gui Jill JE (de 


th LS 2 lee 3 CNN 
Asa 5 )g4a)l sg LI 
TE 1 ; ÿ Carl 
(YA Ÿ) 
e _Conv Layer (32 Filter size 3X3) 


QU pl Le pass of 5, 55all Ge slanall codoles 5 3 
e _Conv Layer (32 Filter size 3X3) 


e Max Pool Layer (Filter size 2X2) 

e _ Dropout Layer (Prob of dropout 0.25) 
e _Conv Layer (64 Filter size 3X3) 

e _Conv Layer (64 Filter size 3X3) 

e Max Pool Layer (Filter size 2X2) 

e _ Dropout Layer (Prob of dropout 0.25) 
e FC Layer (512 neurons) 

e _ Dropout Layer (Prob of dropout 0.5) 
e FC Layer, Softmax (10 neurons) 


oe dre WIS LES « (JS 5e oluf, Leo 557) II Le LE de dilaxoll ee (5 55 
Las A lahel pe 25 dos Jos LL JS LE) ds « ŒUS pes . JS ce lat, pastis 
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I BUT I ELA Dons les p35 softmax &b, oi BEN ISlU els Vs 
.& LL) ail USE) ob 5 Le 383 « Aloe le) 5 

gp dodall Gui ON VS 4 ŒUS pes ball Keras piges paécune « ia due 
DS ge lu lieu 5 SU ee La el saute à D AS LL 4 Les ses à oeil 
lertes ol ee dl ledit 2x Jet p 35 No Lt alaës Le gts a 


from keras.models import Sequential 
from keras.layers import Dense, Dropout, Flatten, Conv2D, MaxPooling2D 


LB Aude 5905 LL ps 5 

model = Sequential() 
JE e SS SN) CJM At 5e JS 5 EU m5 sal le Jade EL aa 
Louis a II .32 Gucs 1 3 ul pouxs « 3x3 3215 pe pue ENVI GEL a (Gel 
Les US pes (CNN SUR por Lie os ot SU os) ‘relu” 3» Lésalls 
QUI » SL JS AE su 


model.add(Conv2D(32, (3, 3), activation='relu', padding='same", 
input_shape=(32,32,3))) 


DU plat fi Jabra brise CI AI da &Lol 3e SU ie aleës Le 
ete (823) ei ge DEN mo. NI ue 9 ets « 32e Ji 5 Ji. model. add() 
ses pi Li LAN .'same' Lidl; relu sas nl se 5 Al as 5e 
D eg globes Ji deb Lu ai ril sel La stride=1 D\ lis « 3e 
Goo SIN GEL JUS MI age Judo II al den pond à SES CS 0 
EM per es Yl que plat LeSos tee e aol all aie de ADI co dal 
SV 2e dde 91 ps N) go he Le 2 80 5 ASE ALI us ALI 2 LU 
model.add(Conv2D(32, (3, 3), activation='relu', padding='same')) 
GPL all 5 5h 3 2 x 2 pros pere, progell Le ail A EL a AJUII il 
ghsl els Lis Jr tes N ÉD 2 x 2 58 mropell se de ua ie 
model .add(MaxPooling2D(pool_size=(2, 2))) 
‘overfitting gl 0.25 Jlezt pe Slséall dll AL care à ai 
model .add(Dropout(@.25)) 
Ge kglèse QUI a SU 345 550 ne QUEL of sf LEE Les DSi 
model.add(Conv2D(64, (3, 3), activation='relu', padding='same'}) 


model.add(Conv2D(64, (3, 3), activation='relu', padding='same')) 
model .add(MaxPooling2D(pool_size=(2, 2))) 


AOLAUUI usa él: I hoâI 


model .add(Dropout(@.25)) 
ail à Joli 5 elles Le acts Le 925 e RS Alarall A ges I pts « Lai 
ie ge Vas Casa 3 Lui Lnaall LOS 5 5 2e e Ale sell on 5 « ES pes Gui 
Soi p555 of Lan « dos ès (5 Bedl LI pa caso at JR le ps 
:Flatten &L &L] Gb de bi 655 ass 
model .add(Flatten()) 
trelu Lil Us uns LS 512 Les Je dors LL LE de 2e à OI 
model .add(Dense(512, activation='relu')) 
0.5 Jet Tete bis Css 5 
model .add(Dropout(@.5)) 
softmax Lil Us, Lee LAS 10 Le IQ dore AL #LE5L Las «a 
model.add(Dense(10, activation='softmax')) 
AU Jris p 585 « AS Lilanall paske 45, 4 DVI stone els ge DVI els Ni à 
JU 
model .summary() 


Model: "sequential" 


Layer (type) Output Shape Param # 
conv2d (Conv2D) (None, 32, 32, 32) 8% 
conv2d_1 (Conv2D) (None, 32, 32, 32) 9248 
max_pooling2d (MaxPooling2D) (None, 16, 16, 32) C) 
max_pooling2d_1 (MaxPooling2D) (None, 8, 8, 32) 0 
dropout (Dropout) (None, 8, 8, 32) C) 

flatten (Flatten) (None, 2048) @ 

dense (Dense) (None, 512) 1049088 
dropout_1 (Dropout) (None, 512) Q 

dense_1 (Dense) (None, 10) 5130 


Total params: 1,064,362 
Trainable params: 1,064,362 
Non-trainable params: @ 


JU colstie NI plèul al ect es « SVS Lx 


model.compile(loss='categorical_crossentropy", 
optimizer='adam', 
metrics=['accuracy'1) 
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.'categorical_crossentropy' 4abläell Lis ,5N 46 Léon 2 Us dis ere 
Les ses Bo Les 5 « Vel .adam 52 La Lu mo all 
es 5 els Jets ON 5 4 ol 


hist = model.fit(x_train, y_train_one hot, 
batch_size=32, epochs=20, 
validation_split=0.2) 


D ÉRMCRN Ja «US pes 8159 20 3 32 pe obeis plats abs os poë 
Ha ls validation data (+ Ja validation split = 0.2 sel pass 635 
de pare 3 de pare QI Le Lol @ULUI de parce ponts I les Ÿ à Lens 
Éndéna)l OL Le peau Je db sun à «63 à, Vis LUI, à domuall ne ass 
LUI @ULUI 35 pages cye 20 phase 629 e Wu ox 5 ill Se 

slt prépas Gags RUN Late 05 HS 2e eme 


Epoch 1/20 

1250/1250 [= ] - 27s 14ms/step 
val_accuracy: 0.5885 
Epoch 2/20 
1250/1250 [= ] - 17s 14ms/step - loss: 1.1323 - accuracy: 0.6000 - val_loss: 1.0689 - 
val_accuracy: 0.6276 
Epoch 3/20 
1250/1250 [= ] - 17s 13ms/step - loss: 0.9810 - accuracy: 0.6534 - val_loss: @.9494 - 
val_accuracy: 0.6725 
Epoch 4/20 
1250/1250 [= ] - 17s 14ms/step - loss: 0.8859 - accuracy: 0.6900 - val_loss: @.9151 - 
val_accuracy: 0.6828 
Epoch 5/20 
1250/1250 [= ] - 18s 15ms/step - loss: 0.8015 - accuracy: @.7171 - val_loss: @.9117 - 
val_accuracy: 0.6802 
Epoch 6/20 
1250/1250 [= ] - 18s 14ms/step - loss: 0.7203 - accuracy: 0@.7469 - val_loss: @.8959 - 
val_accuracy: 0.6874 
Epoch 7/20 

1250/1250 [= ] - 17s 14ms/step - loss: 0.6486 - accuracy: 0@.7709 - val_loss: @.8811 - 
val_accuracy: 0.708066 
Epoch 8/20 
1250/1250 [= ] - 17s 14ms/step - loss: 0.5960 - accuracy: 0@.7902 - val_loss: 0.9053 - 
val_accuracy: 0.7055 
Epoch 9/20 
1250/1250 [= ] - 17s 13ms/step - loss: 0.5312 - accuracy: 0.8129 - val_loss: @.9100 - 
val_accuracy: 0.6982 
Epoch 10/2@ 
1250/1250 [= ] - 18s 14ms/step - loss: 0.4887 - accuracy: 0.8262 - val_loss: 0.9183 - 
val_accuracy: @.7077 
Epoch 11/28 
1250/1250 [= ] - 18s 14ms/step - loss: 0.4483 - accuracy: 0@.8415 - val_loss: 0@.9454 - 
val_accuracy: 0.7083 
Epoch 12/20 
1250/1250 [== ] - 17s 13ms/step - loss: 0.4195 - accuracy: 0@.8514 - val_loss: 1.0072 - 
val_accuracy: @.7062 
Epoch 13/20 
1250/1250 [= ] - 18s 14ms/step - loss: 0.3889 - accuracy: 0.8625 - val_loss: 0.9655 - 
val_accuracy: @.7089 
Epoch 14/20 
1250/1250 [= ] - 18s 14ms/step - loss: 0.3591 - accuracy: 0.8764 - val_loss: 1.0041 - 
val_accuracy: @.7042 
Epoch 15/20 
1250/1250 [= ] - 17s 13ms/step - loss: 0.3372 - accuracy: 0.8814 - val_loss: 1.0220 - 
val_accuracy: 0.7133 
Epoch 16/2@ 
1250/1250 [= ] - 18s 14ms/step - loss: 0.3242 - accuracy: 0.8868 - val_loss: 1.0927 - 
val_accuracy: @.7041 
Epoch 17/20 
1250/1250 [= ] - 23s 18ms/step - loss: 0.3053 - accuracy: 0.8925 - val_loss: 1.0579 - 
val_accuracy: @.7046 
Epoch 18/20 
1250/1250 [= ] - 18s 14ms/step - loss: 0.2917 - accuracy: 0.8999 - val_loss: 1.0833 - 
val_accuracy: @.7061 
Epoch 19/2@ 
1250/1250 [= ] - 17s 14ms/step - loss: 0.2825 - accuracy: @.9014 - val_loss: 1.0957 - 
val_accuracy: 0.7165 

Epoch 20/20 


oss: 1.4824 - accuracy: 0.4623 - val_loss: 1.1698 - 


LULU usa él: I hoâl 


1250/1250 [=============-====-=-=-=-=-==-==-=====] - 17s 14ms/step - loss: 0.2700 - accuracy: @.9064 - val_loss: 1.0855 - 
val_accuracy: 0@.7131 


IN Lai Les es C3 els GG à » Sie plant Reg € cul ne ele Vi das 
sl ga aa LL Ball ne Gale ol les ns 


plt.plot(hist.historyL'loss']1) 
plt.plot(hist.historyL'val_loss']) 
plt.title('Model loss') 

plt.ylabel('Loss') 

plt.xlabel('Epoch') 

plt.legend(L'Train', 'Val'], loc='upper right') 
plt.show() 


Model loss 


—— Train 
— \al 


T T 
0.0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 


plt.plot(hist.historyL'loss']) 
plt.plot(hist.historyL'val_loss']) 
plt.title('Model loss') 

plt.ylabel('Loss') 

plt.xlabel('Epoch') 

plt.legend(l'Train', 'Val'], loc='upper right') 
plt.show() 
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De ddl Does G5ub Col de all ais 5 .overfitting g5sil dl « ès LS 
Sa OÙ 1 Le noel Lou clisull sue Luis sf Lilenoll 35 he cleoll 
as HS « db oi 75 pal ge Lo JL Lei of me. Lasi valts de J saoul 

DV sages (à 


model.evaluate(x_test, y_test_one_hot)[1] 


313/313 [==========================2===] - 2s 5ms/step - loss: 1.1410 - accuracy: 0.6924 
0.6923999786376953 


«Slhall rase ce ail JR Jens 565 « ŒUS pus QU Je Le 5 selle ès LS 
Az Bises CAS Ebi Doll) Dial lei sas Dès 5 5 46 « Ale sell où 5 
ee) HDFS ous cie 3 pholl cu ps GO Se Gus Les pe sloN 
os Joledell de Jeudi Mig Lei sai dès .(h5 se 
model .save('my_cifar19_model.h5') 
Jmell  Lomell 5 sel (L55 45 is TE Le JU 38 aus paserul 


from keras.models import load_model 
model = load_model('my_cifar1@_model.h5') 


gigi Lodéeul « EUX PLU.) a ère LE LA CNN RS Ji late Last 
Leszileos Los CA SLI le sexes Le ludo LUI Lui] Keras Sequential 
is BY alu ge Ras (2e Lei se Bios Lai Les A3. Jaëll 
pr 5 Bol JJ ball 

EL) 55e 5e pe EU PAUL, pe le 42 Les e 75385 ul quoi of des OI 
Me Qu D less sl de Géal SLI olegens OU ce tels Ge 
sebol Bai 3, As notebook 


JS 5 ce Le semeS a JPEG cèle ONIÎ 5 'cat.jpg' 52 3e cèle 


my_image = plt.imread("cat.jpg") 


LULU os él: I hoâl 


à lens de Ses ça Lu ati 3) poli pou LS pe à pl Le us où si 
Les 4 LEt eooll Le35 Allo des pe Va (32 x 32 x 3 JS ou) Li pas 
“Vi La Lidell ‘scikit-image (eus Lee paies 


from skimage.transform import resize 
my_image_resized = resize(my_image, (32,32,3)) 


LUN sil de Lean 2235 95 AI is à5, LS) 


img = plt.imshow(my_image_resized) 


5 0 ge Ji els SUR 5 le (so Lea 5 5 AI 5 all cou di LAN 
œbdl ina) Blu Le Le (2 Bell Alan oies Ge Ji les N EUX « 1 
Las ges il pd CES (5 5 « model .predict > 9 pliseul, « EN IRC Lola all 

5 5) Lslbe| Le © tell 


import numpy as np 
probabilities = model.predict(np.array( [my_image_resized,] )) 


Les tal Le SYLNI a5es es e Lune Le 10 HE 52 odlel 3,91 A5L 
sa do I, Leds 

probabilities 

array([[2.6720341e-02, 3.1344647e-05, 1.5095539e-01, 3.8518414e-01, 


3.3354717e-03, 3.2324010e-01, 5.1648129e-02, 5.7933435e-02, 
9.2716294e-04, 2.4454062e-05]], dtype=float32) 


A gs 5 paill eolaë 5 Gel, JEU > SU céleri Qi 05 
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number_to_class = ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 
"horse! ship, "truck"] 

index = np.argsort(probabilities[0,:1) 

print("Most likely class:",  number_to_class[index[9]], "--  Probability:", 
probabilities[0,index[91]) 

print("Second most likely class:", number_to_class[index[8]], "-- Probability:", 
probabilities[0,index[811) 

print("Third most likely class:", number_to_class[index[7]], "-- Probability:", 
probabilities[0,index[711) 

print("Fourth most likely class:", number_to_class[index[61], "-- Probability:", 
probabilities[0,index[611) 

print("Fifth most likely class:", number_to_class[index[5]], "-- Probability:", 
probabilities[0,index[511) 


Most likely class: cat -- Probability: @.31140402 

Second most likely class: horse -- Probability: @.296455 
Third most likely class: dog -- Probability: @.1491798 
Fourth most likely class: truck -- Probability: @.12088975 
Fifth most likely class: frog -- Probability: 0.078746535 


lis « US pos 45 5) GS CSS dal 5) all of Be pis 55 4 5 LS 
Lx (Jay ca LES 0555 OÙ Lau N EU 4 Me Laèiee 433 Bu p5se ail 
Lu Ses « ones lie las US io same 3 Lë CNN Ré obulul JEal 
ŒU & les oda SULUI Re samel «55 75e 

Aoû) an Us 

its LL 5 Giiaull dela se a GUN LIN Lai OUI pusss » 
Lgl&b BI de 

fall le Ei J A Ge JA 6e lai dde (5359 

gilles plu pu 4N olnell plsul Ab ut Laf GUN ab CS Les » 
LI os 5 5, #all 


JU 


SLI SAS Zola à yLonadl ss L 
LRU SUEU HI 5 Loof cLomll #b 
SO YI AL 41521 sb 

SSUNNI pléeul 46135 a Le 

LIN Ra D cr Gb 155 52 Le 


UÜ OR À D 


= 
TT ouannst 
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0100)! 
ENG par IS ete ALI Jpadll lertile ces (2 La ARE Le ARS 
8) Soil ax CRU dede (bad Ms U pu, Ab x ob og ie 355 
SRNN RS Lis RNN lle 3] «(Recurrent Neural Networks) 
els Le Lalil Riel Ale es Je De Job ie SLI pe (bal 
DR jenñoll JS Les iles (Le 8,1 xs (sequences) Hu. 
op SN dolls PAST Ce © ils AA Lies Je plés debut 5 RNN 
Turing-Complete Lei 5 4Ÿ We (ide RNNSs Gels Ses cd I LUI 
als (63bl 5 ae des V pol (fee Ses co ENT LUI edf os Hs 
AN brodl m5 EM eu 5e Google DeepMind & ;31 «JEall Je le 
DA re ares Le) Le (RSS LES dlale of os 
SôJ4ïoJläuacil à uiul (2 Lo 
Labif ee Du LUN JRAS I LUN Laal RAI Li Lis «ll oëll, 
Je QE codes padb Le ne put 4,25 N EL «US pes Lotiall à puloul u5 
del Al Lou doutes ST Kiss lie Loge gs af eo nel cat cyliall 
pi C9 89 pre Des Lie, DAULS Je pe deal GI LOI ge xls 
brel ob slaall eg Le 850 NN 0,6 of à 5 Li alell se 

DSL 5 2 ab pe Ball 5e g 5 Axes JS DS don LI CS 5 4 Late 
DÉRAN ge 5 0 all Laxll CRU LIT AL Let és clause Lels 
21) 8e al Je dual BL GLS GES Y dosall elle all 
US QI Les peu Glouls key Jul Obs dell US Lotdl LENS 
Ge 05 a LS 5e a LOL pros Lol a Lea DST de el 1e 8, 
op Vies ST Ge Done ele agi as ce Le 8513" Les LOU ad 0! Joël Res 
RES IEUR 

Los ge eV des ds 8 3 3 LUI J nadll à Lecalss us 29 mal 4 225 
Lis of moi gl ce .de25 JS ee le cle hall dans DM Do es à eu ya 
Les eall le Las A le pull ce tail ba 3 « caall pe a3 ne 4 LI 
Le of 2 Us de CRUNS Je ea Rues II JS NI LS ct sève êlol,e 


1 Alex Graves and Greg Wayne and Ivo Danihelka (2014). "Neural Turing Machines". 


5, Sal ua Sail : aol JI has 


te MLP 3 x(#) 4 ape Los LT plaéeul LL 13f all pm 55e Less 035 
D de prpoll GGs pugoll Je Gal 3 D 3 I Lisez D ex CE + D) 3 5 
AU bug oi ss AI alé oll de, le ol Ml 5 ue US I Les cr 
A US ds (Jon) tel Dybeoll 8 LI AS N ls « Lio caslsoll 5 LUS 
JE 3 poetall Ms ,els Li 5,515 459 Le Lhox| LOU sde Les Jude 

seb 


z 
yt+ ) 


(t+1) 
X 


t+1 L 
xD ——+ 
Wan 


de Les pli Lys of Eee à Das Bel Lolo Lu ge Bd Lnaall SU LS à 
BUT pos EU Lecliéeuls Léndle 545 


6y4iol uni ä4uiul J41a 
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ne 
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to OÙ 2 as Je sf nes 8es € Ras ue 24 ul 5e sie Lu 
he = fe) SE JS SN EL LES Res ère 6 Wu Libé oll 

48 LS QE VI JI LI VLusl cle leo dat I Lil le (ES  RNNS 5 
….eLsî Ces »# LS: Een A] A ciel eo 3 Ces 


ARR 
@ © @) 


de Fr Ge ele ee he = fers 240) St JS RNN ÈS El GES Lo 
Je Ji LU bol SG Le he gb des « Juusll ole de ee JS 
e GR D555) Will al Le L35 Weil dans us ç LIANT CRT Re 
Blo Res pet ES he LT DIT CI BLONL Lt JS Al a Re La 
ALI is DHL ns gaie 

37 due 5 Lee (SUN) GLSNI cnrs à 5,51 55e of «ads ALI LS Jai 
bal SUIS el Dot  RNN phil 3 See Gis e5 « ON 


Outil Qc JyAio Ju él quéi &uaï Lab 4 «jo Laouul Qc RNNS Juan 


1591) Slaall ie le sage LH Le RNN (525 


hdlxdbsJeU 

he ul DL Ji Res LL JL Ju W 

y EU QI he 3 Ésue Lonoeoll LU DL eV # 
sil le Jhal Lulu) Ut al heal de das bol V 5 W 5 U Gi 
pl de INT le ies LUN DU Judo DVI Ses 48 le Dlj5l pseme 
JE 

Re = f(R1*W+x*U) 
Ye=hxV 
Ads 6 Lis Ds a f «La 


à, Sal usa il : ol JI choâl 


Bi be JO 5e LU Lol pre Je Ule JS dan « RNN (ÿ &i BY 

de ges h EN ON à 5 I 1930 8,515 Lg RNNS of âogall @YYAI 4 dl 

Sb all 5535 RNNSI Sas « D I LUI 0 ALI cl est J Aus cle she 
hs ps #1) CII ENT Les LS Glaal upledll 5 08 US Li lé, Lol 


RNN ol Loco elgil 


A Qi à e Cl paul 215 nat alles de Let Ÿ RNNS oŸ lb 
de 


© socio 5e Lui JR 5 a) Sas eSidotg dos m 
Lee 8 RO ode 75 less Rés des I RNN JU) des 
Fo LUN La CRI, Gal Label Luna) RE he dluburs 
. pal cites 38 ilaali ele Je dite 
e @ @ D colo JRAN 5e ès Liane Hs 
SI RNN Jo des Gers pis e LE oc 
| | | glail clé es ide s base old s de 


eau 
_ SUIS ie (Jess s 8,20 JL 


: JR Ge és LS os LI sue # 
ee US Ces pu « All da (3 « (blèail 
| ol; de I RNN Ji lis 


gs Je ils FLAT Bdess bare 

BR 
| | | &L At .(Sentiment analysis) 
el SdS ee sde ll JS Ni 


OR et us 
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pla JR 5e près LS 1odure) sus 1 
es oye dal cs pie « Lil ode 5 « 
ATEN SCT sde a RNN dsl 


lois de es Je. lies 
BS-ER-RE 
. ie JlsY &L Las UNI Lee il 


| | | Leles 55 jdpall äxlil SUIS Lys à 
O O O St AU 5 LI 5 > 
RNN polaà ul ai 210 


AU iles Jle S(language models) 45% als ét JS RNNSs ps 
Los us pla 5,5 4 Le Jedl 5% (natural language processing) La d)l 
LS 5 Gore Jo Dal LU le RNN piles pics des ail 45 
SC oÙ RNN Jai ai D 30 Ke «Jlauell GUyires Des ue (es Jules 
y Je pUŸ le gytus eRS lafs 59 Gole Je bla el es ci 
rs ge Gode pd al DST pl la ges pet Les PUS cp gl 
pal" 4e, préc ejaall Lie GLONI au glhe Gels Voie LS 0,8 of 
LS ee (gi plasel ESeg US pas JS GoudS à) ces sd) "etui, 
Gil, Dies (www.gutenberg.org) 7557 g3 he de ln) SAS legal 
les El) DES 57000 je dj Le deLL A5 ee 
BI re 8,3 warpeace_input.txt cible bes élile Yi 
https://cs.stanford.edu/people/karpathy/char-rnn/warpeace_input.txt 
RSS CS op 55 Sas us EG os 
https:/www.gutenberg.org/ebooks/2600 
Sp I el Jos all 5 5 CE ae ef LI eee ESS ecélall Jess 
9 ,> 100 Ji Ale ae Las pu 5,1 Lab 5 ao 
training_file = ‘'warpeace_input.txt' 
raw_text = open(training_file, 'r').read() 


raw_text = raw_text.lower() 
raw_text[:100] 


‘ufeff"well, prince, so genoa and lucca are now just family estates 
of thenbuonapartes. but i warn you, i' 


10 > sde lus Jiele ce D 


n_chars = len(raw_text) 


à, Gall usa il : ol JI choäl 


print('Total characters: {}'.format(n_chars)) 
Total characters: 3196213 
ad 5 US els ef Le Jnaodl Les 45 de 


chars = sorted(list(set(raw_text))) 

n_vocab = len(chars) 

print('Total vocabulary (unique characters): {}'.format(n_vocab)) 
print(chars) 


Total vocabulary (unique characters): 57 


['\n', 1 !, D IH LES “a Die a eur Han 0 1 Due Qi 
HE 2e 3 '4', 15!, '6', ie '8', 'g', en Mas = ons, 
Va, 'b', “C', ds 'e', pt. 'g', 'h', "ts Mes 'k', “le, 'm', 
'n', 'o', 'p', 'q', ‘r', 's', pis 'u', v', w', 'x', 'y', Vzt. 
va, a", 'é', 'ê', '\ufeff'] 


Mi Ge 575 de pod 3 Ge ST ce DR ele Le LS Le sogee Lol ON 
DUEall 73 sel LE sono) sure Lilou GÉRNN 5508 ai LS LES 
Job A SOS 5e LS ER bail Gites 253 doUtrl 7 
JE} LS ne tels de JE pus els Y Use çésles LE te Jsb 
LS NI ES learning 4/8) 5 Je Jui Job xx Les Loi 2 ès re Lob 
ge IR Gel a Ro 5 LS .earni © es learn SA pe Los se 

JU > 


#h 


TT TS 
mn 
O © © © © 


SUL puis Ses LlaSl Lt all de gogo) RL un en si Las A 
Si ge Jude JS .100 Ja (he Le cd ghail Bslene SH LI el Gal 
ë all oi 0 dès hall ès pli ant OU (Ll p95 5 ue Jlie s2 JLesYl 
D «Jai Je Le un Eee 58 de J nai p5 pb Jules JS St it las 
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D ESe «jbl Jile 5 3,1, deep learning architectures J slt all I 
JUN so Je Le 5 ii dus 


ol oil 
éepal 


earni 
ng_ar 
chite 


cture 


es 1 nt 
JU-SYI Jade QhAa5 pe chpes  bL cg pe AS Ÿ Sani EI pôles OÙ LE 
57 os Dh 0e Grp Lib 835 .one-hot 5 clercs dlul SU RE 
156 10 os tel É > 
index_to_char = dict((i, c) for à, e in enumerate(chars)) 


char_to_index = dict((c, i) for i, c in enumerate(chars)) 
print(char_to_index) 


tas pers 30 Cu eil 1 Loc 57 Jobs ame Je Sul Los ps ball Le te 
Eonll dsde pans dÙ 32004 (Lu Jedi Gle Las 5 ES ef, A5) 0 a 62 
LUI sl Le Lu al LL Àc 02 ARMEUCEN al Ni se 

import numpy as np 


seq_length = 100 
n_seq = int(n_chars / seq_length) 


Les p3i5 «65 de en seq Le Lui 0% «100 Je Julerll Job Les JHE Ge 
eo JAI le 2e 5 Se 


np.zeros((n_seq, seq_length, n_vocab)) 
np.zeros((n_seq, seq_length, n_vocab)) 


he LS publ J sb of LAN 

Gall sbugf c juurIl Job ctuaul 053) 
p35 US de -RNN 555 pbel Keras plaéerul p5e5 EN co glles 5 sal ia Je 
in_seq Jée JS LE 


for i in range(n_seq): 

x_sequence = raw_text[i * seq_length : (i + 1) x seq_length] 

x_sequence_ohe = np.zeros((seq_length, n_vocab)) 

for j in range(seq_length): 
char = x_sequencelj] 
index = char_to_index[char] 
x_sequence_ohel[j][index] = 1. 

X[i] = x_sequence_ohe 
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y_sequence = raw_text[i x seq_length + 1 : (i + 1) x seq_length + 1] 
y_sequence_ohe = np.zeros((seq_length, n_vocab)) 
for j in range(seq_length): 
char = y_sequencel[j] 
index = char_to_index[char] 
y_sequence_ohel[jllindex] = 1. 
Y[i] = y_sequence_ohe 


soi LAS Jess Dita L5, ÉLS ES ee 5 cest] 
X. shape 
(31962, 100, 57) 
Y.shape 
(31962, 100, 57) 
JT RNN pis els ON 25 Ji ol Lu ul blS de gagne sleL Les OI 2e 
ds 2) Sue gl acer Ni 


from keras.models import Sequential 

from keras.layers.core import Dense, Activation, Dropout 
from keras.layers.recurrent import SimpleRNN 

from keras.layers.wrappers import TimeDistributed 

from keras import optimizers 

from tensorflow import keras 


ob sue 3 Anal LILI ses el aan US Les AE LUI oDelea| sos ON 
2, sil Ds 9 « Slsél ill dll 9 


batch_size = 100 


n_layer = 2 
hidden_units = 800 
n_epoch = 300 
dropout = @.3 


SES LS 658 


model = Sequential() 
model.add(SimpleRNN(hidden_units, activation='relu', input_shape=(None, 
n_vocab), return_sequences=True)) 
model .add(Dropout(dropout)) 
for i in range(n_ layer - 1): 

model .add(SimpleRNN(hidden_units, activation='relu', 
return_sequences=True)) 

model .add(Dropout(dropout )) 
model.add(TimeDistributed(Dense(n_vocab))) 
model.add(Activation('softmax')) 


sf GI 25 sal ol, Las lgands Los CL 2x Sa 
ENESECS LS ss ë5 xl lb æb 2 :return_sequences=True " 
Jets A sde pres US GE 5 of Lai LS à Es US (Jess sua) 
ŒU 8 EM al ous 
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Gb OÙ 4 Jules ge 8e Boul QUL 1H ON VS :TimeDistributed * 
paul Ale on Cats Vs AUS dors Ab La Al 


Ma 5:11 TimeDistributed 


optimizer = keras.optimizers.RMSprop(learning_rate=0.001, rho=0.9, 
epsilon=1e-08, decay=0.0) 


Las gai slu os ES «" categorical_crossentropy" &Lädl 554xs Lio 5 ls &LeL 
pol parcs ps5 5, 

model.compile(loss= "categorical_crossentropy", optimizer=optimizer) 
gpl ere de ë 5 LH LS UN 5 SN plie 


model .summary() 


Layer (type) Output Shape Param # 
“simple_rnn_4 (SimpleRNN) (None, None, 800) 686400 
dropout_4 (Dropout) (None, None, 800) C) 
simple_rnn_5 (SimpleRNN) (None, None, 800) 1280800 
dropout_5 (Dropout) (None, None, 800) C) 
A one (TimeDis (None, None, 57) 45657 
activation_2 (Activation) (None, None, 57) Q 

Total param: 2,012,857 
Trainable params: 2,012,857 


Non-trainable params: @ 

bell se cd shell Co part Lee es LS 55 count felue Gode 2 ce 251 Lou 

gore LL Lil, LL Le callback 5 a obes 2x sel tel 
: b L callback Jiso Ja-is «ce pal ets 


RS Gr JS de pisll 0555 ls « sell (checkpoint) 2 LE » 
5 I ULe 5 Sa je Cuptl Glénuls Bébe p3se doi Las 5e 
ps 

DJ Vi ue N Le Co pit C5» (le « Sall © 25 gi m 

OÙ ŒUI al Lise code «55 OÙ ns le RU al A5 té dal, 
LUS 48 Les Lu sole ut il D ge 

EN pl Le Jlouil aa gs sl cu, pu 

from keras.callbacks import Callback, ModelCheckpoint, EarlyStopping 


filepath="weights/weights_layer_%d_hidden_%d_epoch_{epoch:03d}_loss_{loss 
4fr#.hdts? 


5 Sal ua Sail : aol JI has 


checkpoint = ModelCheckpoint(filepath, monitor='loss" 


, verbose=1, 
save_best_only=True, mode="'min') 


M DE OU “HO ue die 
8; 50 &d) CAE pu #LN| JE Oo 15! Lo & 0) 3 JS > Goes Yi +5 Cal 
JL 


early_stop = EarlyStopping(monitor='loss', min_delta=0, patience=50, 
verbose=1, mode="'min') 


G5 3 Job (Gb Los Ni 5 sels lo VS Ces .59 gaull 251,0) callback Ji rss «4105 de 
L ob RNN ps) 


def generate_text(model, gen_length, n_vocab, index_to_char): 


Wu 
Generating text using the RNN model 
@param model: current RNN model 


@param gen_length: number of characters we want to generate 
@param n_vocab: number of unique characters 


@param index_to_char: index to character mapping 
Greturn: 


# Start with a randomly picked character 
index = np.random.randint(n_vocab) 
y_char = [index_to_charlCindex]] 
X = np.zeros((1, gen_length, n_vocab)) 
for i in range(gen_length): 

X[9, i, index] = 1. 


indices = np.argmax(model.predict(X[:, max(@, i - 99):i + 1, :1])[01, 1) 
index = indices[-1] 


y_char.append(index_to_char[index]) 
return ('').join(y_char) 


Sol ge > JR US de JM pô si Les Glete ele 5 © 2e AU ia fus 
100 Ji sb Je 3 Gone lall à5 Cl MI de £ly cell gen_length-1 
N 5,5 JS ei el 845 callback #5 445 NI ES (abus J3b) 


class ResultChecker(Callback): 
def __init__(self, model, N, gen_length): 
self.model = model 
self.N = 


self.gen_length = gen_length 


def on_epoch_end(self, _epoch, logs={} ): 
if epoch % self. = Q: 


result = En self.gen_length, n_vocab, 
index_to_char) 


print('\nMy War and Peace:\n' + result) 
Spa ons ls Gale SU Sail acer comm of des NI 


model.fit(X, Y, batch_size=batch_size, verbose=1, epochs=n_epoch, 


callbacks=[ResultChecker(model, 10, 208), checkpoint, early_stop]) 


101, 515 115 1 1 Le QUI AL el 10 JS G,> 200 Wsoll LS 
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Epoch 1: 


Epoch 1/300 
8000/31962 [==== 
31962/31962 [=== 
My War and Peace: 

5 the count of the stord and the stord and the stord and the stord and the 
stord and the stord and the stord and the stord and the stord and the stord 
and the and the stord and the stord and the stord 

Epoch @00@81: loss improved from inf to 2.19552, saving model to 
weights/weights_epoch_@91_loss_2.19552.hdf5 


] - ETA: 51s - loss: 2.8891 
] - 67s 2ms/step - loss: 2.1955 


Epoch 11: 

Epoch 11/300 

100/31962 Lis sara cardan Sanders ] - ETA: 1:26 - loss: 1.2321 
31962/31962 [================"===""""-"---"] - 66s 2ms/step - loss: 1.2493 


My War and Peace: 

?" said the countess was a strange the same time the countess was already 
been and said that he was so strange to the countess was already been and 
the same time the countess was already been and said 

Epoch @0011: loss improved from 1.26144 to 1.24933, saving model to 
weights/weights_epoch_@11_loss_1.2493.hdf5 


Epoch 51: 


Epoch 51/300 

31962/31962 [=========-=-------------------1] - 66s 2ms/step - loss: 1.1562 
My War and Peace: 

!ICDP!E.agrave!! to see him and the same thing is the same thing to him and 
the same thing the same thing is the same thing to him and the sam thing 
the same thing is the same thing to him and the same thing the sam 

Epoch @0051: loss did not improve from 1.14279 


Epoch 101: 


Epoch 1901/3080 

31962/31962 [=====-==----------------------1] - 67s 2ms/step - loss: 1.1736 
My War and Peace: 

= the same thing is to be a soldier in the same way to the soldiers and the 
same thing is the same to me to see him and the same thing is the same to 
me to see him and the same thing is the same to me 

Epoch @8101: loss did not improve from 1.11891 


1203 89 ce Re 255 (Bou pall Là 


Epoch 00203: loss did not improve from 1.10864 
Epoch 00203: early stopping 


:151 er] Er a) al su 


which was a strange and serious expression of his face and shouting and said 
that the countess was standing beside him. "what a battle is a strange and 
serious and strange and so that the countess was 


à, Sal usa il : ol JI choäl 


LL DIS] Les Jeless 35 5 pes Le de (I Der Le Lol "els TE 
VAN Sp let Sa RNN p5 305 lea] 5 JE os Hal Jens pla 
Gall Je sacs VI Les es at East Jet RNN 73 505 cu e6 OÙ ENS Gars 
AR£ dl oie Je Lane GRUÜs LSTM fe JS gli pres 95 ALU Nes SJ gba 
LSTM 
Luploall Us asdall AL Rat LS Hal RNNS 3 Sas cd LE RU pe 
kgrlsal shell 5er ball LS Che Lens Le al EDG Us es Acta 
5 Long short term memory) «xl ALL 5, IS us 5 al lis 
io 8,51 Le 3325 cu (hall db bas 5036 LSTM 3 Se .(LSTM) 
La 

SU gbeall LES Les Les AU (cell state) Ha Le La LSTM 3 &LuNI 5 Sal 
1-5 JR G ce Ste os DL US 5 me JR ide si 


fe = O(Wrhe-1 + Usxs + b;) 

4 = o(Wih;_1 + U;x+ + b;) 

a = tanh(Whs_: + Ucx+ + bs) 
0 = O(Wohs-: + Uoxe + b,) 

C = fe * Ca + * Qu 

h; = 0; *tanh (c;) 


LSTM ÿylexe 1-5 [RS 
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gl JE We ge ps ee ble Gb 6 M LSTM de Le 5 es 
Was (D Je) &les O9 ot lé sols SA Ge Cæssedl LSTM 53 
.(0) cr) 

Dal Le pou 5 ES TL Le Globe 3,5 os Us Ce LSTM JM Gil 
pas 2 Qdl NS-nals Rey BI le all Le Louroll Gt 1,5 ere Yi 
ee 0e pal das Le LI Le es JS dis je Ge pl sigmoid 
Die pal © les D DLuUI Lis pee diodls di as HI Llés DLul ls 
DL Le Lors ele aol LS Let ie ral « blèdll GULI Lis GLS 
Le jelil VI LL ae 14e Lo) si oui O5 Sa LSTM di x li 
LUS DL LI . Usles 

fe = O(Wrhe-: + Usxe + b;) 

D EU pu SUN Le LI due ob les Lo) (JUS le) LIN LI 5 
Sol de agi plage pes grues sf all al eL2S 65 Let 51 ail a dde : ie 
gra ace Goo We 5 ln clamoll sel pont ell NS Joue 
ds JR RL Laseall Mall; Hu parus s à Los 053 Goes Je laid 
as 8 US tanh Ulo plaseul 653 « pui all agro La LAN HI LL bles sa, 
QUI > Yoluoll 3 Aou os el 

= o(Wihea + Uixe + bo) | 
a = tanh(Wohs_: + Ucx+ + bs) 
gb Le dut pu Lie; 5h JS GEL Ke does LES out Lg 545 
AJUJI Hsluoll je Lie) 6 les 
Ce = fe * C1 + be * 

di 8 LSTM &d le AU LM 8 L 5 GLEN Le) 8 NI Gil 
aa old sigmoid pass Si. JeaaS x 3 ha 6 EL Ge che Léo 
Yi LUE Lo cu Les pi bep 5 lea GO LI LLS NS Ads dos jé Ces près 
Sie &5 do isigmoid AB LuJI Lil le ,5es IE Lee iéeLee) tanh ab (I 
ee Les clash (of 5 N ALI GES of 0 LM de EL M Eo all el; 
LIN Nolaoll 5 Al LH LI QE pe LUI LES ALI 3 SI of 1 LE 
20125 VI Ja 


Ot D o(Whs-1 + Uox+ + b:) 


à, Sal usa il : ol JI choäl 


h; = 0+*tanh (c;) 


SL 1 out Ge COST GBA at ENG 5e LSTM Loos L&S OI 
goes LeSes Lil à Li 8 as ils La LI Le ous pd «0 JU-5Y! àls 


AL 82 Us Os 8 SU (5 Of Ras EU âges Les AUS 8,515 
sebol JR Ge 55,0 LSTM pi LES 2e 0 «es 


425 SN 


Î 


pe UD 1 de JM Le Les à5 HOMEeS ASEU 4.2 Le elle! ps AA 3 
pe SU 1 le out le Les eu RE 65 at RL 5 AUS Lall Bès 
Us! DN ge cola sue çof BL 5 Vs col leu aa US ob seal nee ca55s 


Les dus As 42 608 eus 1 le LM le Les eu déi.0 Le bin 


LSTM pla il JA auoi 


Jél Ge É,> 160 9 Jules Job 8505 Les «LSTM (Ji drmoll pal Ms à 
SEQ_LENGTH 5dydeil ël Vs X out ele sages el 8oleL Lai 65 nas Glul 


:= 160 


seq_length = 160 
n_seq = int(n_chars / seq_length) 


X 
Y: 


np.zeros((n_seq, seq_length, n_vocab)) 
np.zeros((n_seq, seq_length, n_vocab)) 


for i in range(n_seq): 


x_sequence = raw_text[i x seq_length : (i + 1) x seq_length] 
x_sequence_ohe = np.zeros((seq_length, n_vocab)) 
for j in range(seq_length): 
char = x_sequencel[j] 
index = char_to_index[char] 
x_sequence_ohel[j][index] = 1. 
X[i] = x_sequence_ohe 
y_sequence = raw_text[i x seq_length + 1 : (i + 1) x seq_length + 1] 
y_sequence_ohe = np.zeros((seq_length, n_vocab)) 
for j in range(seq_length): 
char = y_sequencelj] 
index = char_to_index[char] 
y_sequence_ohel[j]J[index] = 1. 
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Y[i] = y_sequence_ohe 
Le 800 de Dhs ice ces is prieres cl RNN 5e $ lis 
0.4 Jlrt Hgte les Les 


from keras.layers.recurrent import LSTM 
batch_size = 100 


n_layer = 2 
hidden_units = 800 
n_epoch= 300 


dropout = 0.4 


model = Sequential() 
model.add(LSTM(hidden_units, input_shape=(None, n_vocab), 
return_sequences=True)) 
model .add(Dropout(dropout)) 
for i in range(n_ layer - 1): 
model.add(LSTM(hidden_units, return_sequences=True)) 
model .add(Dropout(dropout )) 
model.add(TimeDistributed(Dense(n_vocab))) 
model .add(Activation('softmax')) 


10.001 5 Juke <RMSprop plc cpl) AL 


optimizer = keras.optimizers.RMSprop(learning_rate=0.001, rho=0.9, 
epsilon=1e-08, decay=0.0) 


model.compile(loss= "categorical_crossentropy", optimizer=optimizer) 
LU ts Les (SU LSTM 75 5 ge Les 


model .summary() 


activation_1 (Activation) (None, None, 57) @ 


Total params: 7,914,457 
Trainable params: 7,914,457 
Non-trainable params: @ 


I RNN p5 505 Sluof des fe DE Le 325 el Jeles sudo 8 ils Ass 
ns et aus 


model.fit(X, Y, batch_size=batch_size, verbose=1, epochs=n_epoch, 
callbacks=[ResultChecker(model, 10, 208), checkpoint, early_stop]) 
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151 2154 Le QU SU ls55 10 JS > 500 (3e É Re Le Mol ES 


251, 201, 
Epoch 151: 

Epoch 151/300 
19976/19976 [=======s===------=-------------- 1 _ 2505 12ms/step = loss: 
@.7300 


My War and Peace: 

ing to the countess. "i have nothing to do with him and i have nothing to 
do with the general," said prince andrew. 

"i am so sorry for the princess, i am so since he will not be able to say 
anything. i saw him long ago. i am so sincerely that i am not to blame for 
it. i am sure that something is so much talk about the emperor alexander's 
personal attention." 

"why do you say that?" and she recognized in his son's presence. 

"well, and how is she?" asked pierre. 

"the prince is very good to make 


Epoch @0151: loss improved from @.73175 to @.73003, saving model to 
weights/weights_epoch_151_loss_@.7300.hdf5 


Epoch 201: 


Epoch 2901/3080 

19976/19976 [==========ss======-=--==---=----) - 248s 12ms/step - loss: 
0.6794 

My War and Peace: 

was all the same to him. he received a story proved that the count had not 
yet seen the countess and the other and asked to be able to start a tender 
man than the world. she was not a family affair and was at the same time as 
in the same way. a few minutes later the count had been at home with his 
smile and said: 

"i am so glad! well, what does that mean? you will see that you are always 
the same." 

"you know i have not come to the conclusion that i should like to 

send my private result. the prin 


Epoch @9201: loss improved from @.68000 to @.67937, saving model to 
weights/weights_epoch_151_loss_@.6793.hdf5 


Epoch 251: 


Epoch 251/300 

19976/19976 [===> 1) - 249s 12ms/step - loss: 
0.6369 

My War and Peace: 

nd the countess was sitting in a single look on 

her face. 

"why should you be ashamed?" 

"why do you say that?" said princess mary. "why didn't you say a word of 
this?" said prince andrew with a smile. 

"you would not like that for my sake, prince vasili's son, have you seen 
the rest of the two?" 

"well, i am suffering," replied the princess with a sigh. "well, what a 
delightful norse?" he shouted. 

the convoy and driving away the flames of the battalions of the first 
day of the orthodox russian 
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Epoch @9251: loss improved from @.63715 to @.63689, saving model to 
weights/weights_epoch_251_loss_0.6368.hdf5 


-0.6001 sui ve sal 55 « 300 sal 3 Lt 


pal" ge plans BEL Lasls ST 25 di. « LSTM às 5 Jéë 
ON SN 45 de RNN LSTM RS Lei Ye EU 9 BLSYL els 


Vs JL; LaTex 3 HTML fs « des US si oe ll ES 
LSTM pla ul loi aacio au oran 


pas po dre Ole es nes piges el) LAS 7 ie dll lis 3 
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toxic: ds LEE cu Le Lo Il Gletéemall LUI Le sogue (6 5525 
o da Æ A Gb os oi Se -identity_hates insult «threat obscene «severe_toxic 
Ses eladlall les Cite Unes alpes Léo eclal sig) Le al tal 3j tal 
ile prés «Jlall ds Ga Kaggle os aise ce os OLLUT Ze gogee (LS 
35 ”train.csv” 

US Jde JU 38 BL desems Jos Golloll well Jeu Vi 
| 1 Mao 


from numpy import array 

from keras.preprocessing.text import one_hot 

from keras.preprocessing.sequence import pad_sequences 
from keras.models import Sequential 

from keras.layers.core import Activation, Dropout, Dense 
from keras.layers import Flatten, LSTM 

from keras.layers import GlobalMaxPooling1D 

from keras.models import Model 

from keras.layers.embeddings import Embedding 

from sklearn.model_selection import train_test_split 
from keras.preprocessing.text import Tokenizer 

from keras.layers import Input 

from keras.layers.merge import Concatenate 

import pandas as pd 

import numpy as np 

import re 
import matplotlib.pyplot as plt 


ADULNI Le some Les à5 DS 


toxic_comments = pd.read_csv("train.csv") 


print(toxic_comments.shape) 


(159571, 8) 


: https://www.kaggle.com/c/jigsaw-toxic-comment-classification-challenge/overview 
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des] 83 Sos 159571 Je LI de sou GES gas LS” 
EM ŒbL, Le UN ax 5) Ses JUN je plaeal 


toxic_comments.head() 


id comment_text toxic severe_toxic obscene threat insult identity_hate 
Explanation\nWhy the 
@ 0000997932d777bf edits made under my Q Q Q Q Q Q 
usern... 


D'aww! He matches this 
1 000103f@d9cfb60f background colour I'm  @ Q 0 0 0 0 
Sie 


Hey man, l'm really not 


2 000113f07ec002fd trying to edit war. Q Q Q Q Q Q 
Lt 
"\nMore\nI can't make 


3 0001b41b1c6bb37e any real suggestions on @ Q Q Q Q Q 


You, sir, are my hero. 


4 0001d958c54c6e35 Any chance you Q Q Q Q Q Q 
remember... 
de li ,6 2 de Le cie JS see A Onda des JU 5 as à 


FA 


filter = toxic_comments["comment_text"] != "" 
toxic_comments = toxic_comments[filter] 
toxic_comments = toxic_comments.dropna() 


hell SL y GLS ee Les As CUS Le comment_text 5 sell (5 52 


print(toxic_comments["comment_text"1[1681) 


You should be fired, you're a moronic wimp who is too lazy to do research. 
It makes me sick that people like you exist in this world. 


Gb lg des al SUD Le 5,55 CAL Les QU M e ON! 


print("Toxic:" + str(toxic_comments["toxic"1[1681)) 
print("Severe_toxic:" + str(toxic_comments["severe_toxic"1[1681)) 
print("Obscene:" + str(toxic_comments["obscene"111681)) 
print("Threat:" + str(toxic_comments["threat"111681)) 
print("Insult:" + str(toxic_comments["insult"1[1681)) 
print("Identity_hate:" + str(toxic_comments["identity_hate"1[1681)) 


Toxic:1 
Severe_toxic:@ 
Obscene:0@ 
Threat:0 
Insult:1 
Identity_hate:0 


Le JS xl sie CS Les ON 
toxic_comments_labels = toxic_comments[["toxic", "severe_ toxic", "obscene", 
"threat", "insult", "identity_hate"]] 
fig_size = plt.rcParams["figure.figsize"] 
fig_size[0] = 10 
fig_sizel[1] = 8 


plt.rcParams["figure.figsize"] = fig_size 
toxic_comments_labels.sum(axis=0).plot.bar() 
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LI de sages Jess los A8 Eu SI La 'toxic' Eu of 5 of ELSa 
ain LUI Le soguol coladhall s4xte in piges tt Je logé Le Roll 

CAL phil ball sax dites 7550 LSY GUL,L dla cle (JR 
LS (JS 2 il GO Aare idée FDA Ub plisuls JS as 
les Ab, sigmoid (baëll Do pe le cu pe JSL are ALL pluscul 
SU gd) 56 HAS dar oll al Gas Le JS Res HUE ablärall La 3 5 
Le CSS] es Le JS 15 0 5 deë sigmoid (Jerëll Us rs ls LS eu 
Jess pe M BA AI es Gall of Gé état sai 40.5 de sf tes Le Sr 
Le Lobull Lnesll LOI 

etes Jlll ia dde JS JO ere LA EL LE) Res SI 22 il à 
Le LU sigmoid Ül LL JS ZEN e JUL iles EL 6 Lil I 

De Dai dires pige pis ee ŒULI Le sogeol Je (JS 42 Li pas 
La Cds Us LL 638 fs LA le colo 


def preprocess_text(sen): 
# Remove punctuations and numbers 


sentence = re.sub('["a-zA-7]', ' ', sen) 

# Single character removal 

sentence = re.sub(r"\s+[a-zA-7]\s+", ' ', sentence) 
# Removing multiple spaces 

sentence = re.sub(r'\s+', ' ', sentence) 


return sentence 
À GI dsl & icL.J le oil s SEA] es goes eLisL Pa LUI ë ylail 
ol all À SU X Lanoll Gear) 7 œS p5Ë -comment_text 3 sexll 
eall Sole ll 655) ll os ps .toxic_comments_labels GJaül & 55e 
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sentences = list(toxic_comments["comment_text"]1) 
for sen in sentences: 
X.append(preprocess_text(sen)) 
y = toxic_comments_labels.values 
Ls Lil c>dl SU o\ <one-hot x 5 1,21 I Les Y coda LL de some 3 
Ji BEL Du JU 525l (Gone-hot 3e else JU Jaëll eue pi 
lets eo y X LL le goes 


X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.20, 
random_state=42) 


Jall Lis Ji ES of Je I ous colgne I EN Jos Ji tes «li de 
il Ste; lus N .(word embedding) UIQI ess 5e Aurall es Les 
ai ce SN RS oo es ee EU AIN Lall SUN 5 Groal 
Gael Mall Gi CA SU Lite bb 3e LAS ses 0| éullas 
Lelésoll SBLUS  Sleoll ob DIN res en es LR cles JS Go 
AA dguiles Gsles Y LIL 5e ju Loi coleproll aie Uéles clear dll 9 
Leu ee Bone SSI Loddll elgzrall ads af ef I SI Le sex) Lada) 
QlaNl aeoell LS eus du LU es Dome 3 LIN Ds LB] Le 5 4ëll 
Dee Géo og «Gall elall plées (2 Lalall AI Agiles Lits de dal 
es C8 Greds pr Jo Gi  Goèlée cab de Le pall lai 
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tokenizer = Tokenizer(num_words=5000) 

tokenizer.fit_on_texts(X_train) 

X_train = tokenizer.texts_to_sequences(X_train) 

X_test = tokenizer.texts_to_sequences(X_test) 

vocab_size = len(tokenizer.word_index) + 1 

maxlen = 200 


X_train = pad_sequences(X_train, padding="'post', maxlen=maxlen) 
X_test = pad_sequences(X_test, padding='post', maxlen=maxlen) 


> SN Jef Les I GS I a oode bill GloVe SSI sys pli 
a 35 bi 


lwget http://nlp.stanford.edu/data/glove.6B.zip 
lunzip glovex.zip 


gb Le p55 «GloVe plu Y 
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from numpy import array 
from numpy import asarray 
from numpy import zeros 


embeddings_dictionary = dict() 
glove_file = open('glove.6B.100d.txt', encoding="utf8") 


for line in glove_file: 
records = line.split() 
word = records[@] 
vector_dimensions = asarray(records[1:], dtype='float32") 
embeddings_dictionary[word] = vector_dimensions 
glove_file.close() 


embedding_matrix = zeros((vocab_size, 100)) 
for word, index in tokenizer.word_index.items(): 
embedding_vector = embeddings_dictionary.get (word) 
if embedding_vector is not None: 
embedding_matrix[index] = embedding_vector 


eos Lèbs à Jlésl LL le Les ses (gg JUN SQL Les ges LL LE 
ob 6 Qu 0 à Les LAS 6 Le pl lbs Les Le 128 Le LSTM hs 


de 


deep_inputs = Input(shape=(maxlen, )) 

embedding_layer = Embedding(vocab_size, 100, weights=[embedding_matrix], 
trainable=False)(deep_inputs) 

LSTM_Layer_1 = LSTM(128)(embedding_layer) 

dense_layer_1 = Dense(6, activation='sigmoid')(LSTM Layer_1) 

model = Model(inputs=deep_inputs, outputs-dense_layer_1) 


model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['acc']) 
gpl ee ck Les 


print(model.summary()) 
Model: "model" 


Layer (type) Output Shape Param # 
“input 1 (InputLayer)  [(None, 200)) € 
embedding (Embedding) (None, 200, 100) 14824300 
1stm (LSTM) (None, 128) 117248 

dense (Dense) (None, 6) 774 


Total params: 14,942,322 
Trainable params: 118,022 
Non-trainable params: 14,824,300 


JUN 5 SI plug El LOI Lai SA LS 5 ESS 
from keras.utils.vis_utils import plot_model 


plot_model(model, to_file='model_plot4a.png', show_shapes=True, 
show_layer_names=True) 
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input_1 input: 
= E [(None, 200)] 


(None, 200) 


[(None, 200)] 
InputLayer | output: 


embedding | input: 


(None, 200, 100) 


Istm input: 
(None, 200, 100) | (None, 128) 
LSTM | output: 


dense | input: 
ESETS (None, 128) | (None, 6) 


Dense 


6 Les JS Are Etes Ab ne DS LE EL of edlof JR 5e 6 5 of ES 
gi pl DS Les pl Lee LA 


history = model.fit(X_train, y_train, batch_size=128, epochs=5, verbose=1, 
validation_split=0.2) 


Epoch 1/5 
798/798 [============-=---=------------1] - 20s 17ms/step - loss: 0.1193 - acc: 0.9684 - val_loss: 
@.0739 - val_acc: @.9941 
Epoch 2/5 
798/798 === SES ESS EEE - 1 
@.0599 - val_acc: 0.9943 
Epoch 3/5 
798/798 [ 
0.0573 - 
Epoch 4/5 
798/798 [============-=---==-----------1] - 13s 17ms/step - loss: 0.0548 - acc: 0.9939 - val_loss: 
0.0566 - val acc: 0.9943 
Epoch 5/5 
798/798 [==== 
@.0542 - val_acc: 0.9942 


© 


wo 


s 17ms/step - loss: @.0643 - acc: 0@.9927 - val_loss: 


- 13s 17ms/step - loss: @.0572 - acc: @.9938 - val_loss: 


wo 


- 14s 17ms/step - loss: @.0523 - acc: @.9949 - val_loss: 


DM Le gage 3 PS sal is ON LE 


score = model.evaluate(X_test, y_test, verbose=1) 
print("Test Score:", score[0]) 
print("Test Accuracy:", score[11) 


998/998 [======------------------------1] - 6s 6ms/step - loss: 0.0529 - acc: 0.9938 
Test Score: 0.05285229906439781 
Test Accuracy: @.9937959999439087 


pp Les DST jee pol 585 JS Le sage 5 199 I Les 9 pi sl Ge A 
Al wi 5 ps DS Le Biel EN Col alé gene) Us Das 
-overfitting 


import matplotlib.pyplot as plt 


plt.plot(history.historyl'acc'1) 
plt.plot(history.historyl['val_acc']) 


plt.title('model accuracy') 
plt.ylabel('accuracy') 

plt.xlabel('epoch') 
plt.legend(l'train','test'1], loc='upper left') 
plt.show() 
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model accuracy 
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plt.plot(history.historyL'loss']1) 
plt.plot(history.historyL'val_loss']1) 


plt.title('model loss') 

plt.ylabel('loss') 

plt.xlabel('epoch') 
plt.legend(L'train','test'], loc='upper left') 
plt.show() 


model loss 


— test 
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Des Ils 6453 23 8 Hoall Lo, 5 gs Le paire Joe Lilseall I less LT LS 
ge Jill SI le ES y cat Jgudl oe ud coe N cayetoll Lt, DJs 5,6 of 
Je 3562 I 6 pal A PUS AI 4 col I eine pod se Joe Gode el 
RUE Jls sa yelill Les (Sentiment analysis) ,-L4il ts cosmos 
AJ SNS SNS câ5lsalls V1 pelhall caness pl inuls Ads ous I Bi 
JS dust Jels ds 5 Les els olbralls SSI es NI colezs » 
édyls Os 3 de sf ol 

Dlmg Len Gal ele ane of logos DIN oltall lg 
RU mel Sn NI ge Gue 6 bel Ses UNI Les 3 colo él Le dites 
els 5 nent Les ae 5 of Las Al lat 3 SSI Fu Le ls all Le 
ol SLI 5, JA 1e al sul pe des JV sos Le) à JS see JV 
Jedl Li &le] Gb de. Jaël lébosss 5 CA ls ble jt Rabat otéséll 
de Jyarll ps DIS Legal) LR IS SSII sue Dis sf SLR | al 
elles Gb ëde avldéeuts CNT Il 7e Ce G$es «élan Lelul 4e 
os OL Le gages ol 7355 le DIEM eue GLEN SU Lell nès à 
dents D Lodel SU alt JR als del Le (556 DR Guns is 
25.4) 8 BL 

el le Al éell ile of pus Ge Le del sf à 8 NT ot 
Gen Hell pale start ps elall Cène, ileall LAN 5 Le ST Gel 
A e GUE lol hs Je Groall elacil Sas) lite Lu 8 AI 91 seltall Les (3 
plat çgof  Lasdall AU oles Ye se Jodall 3 al elofs 5 5x5 di <a 
NI NI all uly Gle Loticmoll A5 je its QI Goal plell 
Aslo>Y 

D pelhall Des pis ele LES 4 pelle Go Le cool of de Mi 
IMDB SL, Le page plie « ail lg .LSTM IX Go lue, BEN Lux Le Jles 
Keras SL, de pogue LS 2 Jaëll doute lof 2 os CULUI de sages 85e fhars 
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from keras.datasets import imdb 


top_words = 5000 
(train, y_train), (X_test, y_test) = imdb.load_data(num_words=top_words) 


pe GI EN CS 3 Es ot ie gene I LL Le sage sol 3,8 us 
HU de sages Le 8,85 AU Les apte JS AS 5000 ail Less 45 


X_train 


D5 AI RL) Réane une Hub «L (5a laluill ge sans pale 


array([list([1, 14, 22, 16, 43, 530, 973, 1622, 1385, 65, 458, 4468, 66, 3941, 4, 173, 36, 256, 5, 
25, 100, 43, 838, 112, 50, 670, 22665, 9, 35, 480, 284, 5, 150, 4, 172, 112, 167, 21631, 336, 385, 
39, 4, 172, 4536, 1111, 17, 546, 38, 13, 447, 4, 192, 50, 16, 6, 147, 2025, 19, 14, 22, 4, 1920, 
4613, 469, 4, 22, 71, 87, 12, 16, 43, 530, 38, 76, 15, 13, 1247, 4, 22, 17, 515, 17, 12, 16, 626, 
18, 19193, 5, 62, 386, 12, 8, 316, 8, 106, 5, 4, 2223, 5244, 16, 480, 66, 3785, 33, 4, 130, 12, 
16, 38, 619, 5, 25, 124, 51, 36, 135, 48, 25, 1415, 33, 6, 22, 12, 215, 28, 77, 52, 5, 14, 401, 
16, 82, 10311, 8, 4, 107, 117, 5952, 15, 256, 4, 31050, 7, 3766, 5, 723, 36, 71, 43, 530, 476, 26, 
400, 317, 46, 7, 4, 12118, 1029, 13, 104, 88, 4, 381, 15, 297, 98, 32, 2071, 56, 26, 141, 6, 194, 
7486, 18, 4, 226, 22, 21, 134, 476, 26, 480, 5, 144, 30, 5535, 18, 51, 36, 28, 224, 92, 25, 104, 
4, 226, 65, 16, 38, 1334, 88, 12, 16, 283, 5, 16, 4472, 113, 103, 32, 15, 16, 5345, 19, 178, 32]) 
list([1, 194, 1153, 194, 8255, 78, 228, 5, 6, 1463, 4369, 5012, 134, 26, 4, 715, 8, 118, 


list([1, 1446, 7079, 69, 72, 3305, 13, 610, 930, 8, 12, 582, 23, 5, 16, 484, 685, 54, 349, 
11, 4120, 2959, 45, 58, 1466, 13, 197, 12, 16, 43, 23, 21469, 5, 62, 30, 145, 402, 11, 4131, 51, 
575, 32, 61, 369, 71, 66, 770, 12, 1054, 75, 100, 2198, 8, 4, 105, 37, 69, 147, 712, 75, 3543, 44, 
257, 390, 5, 69, 263, 514, 105, 50, 286, 1814, 23, 4, 123, 13, 161, 40, 5, 421, 4, 116, 16, 897, 
13, 40691, 40, 319, 5872, 112, 6700, 11, 4803, 121, 25, 70, 3468, 4, 719, 3798, 13, 18, 31, 62, 
40, 8, 7200, 4, 29455, 7, 14, 123, 5, 942, 25, 8, 721, 12, 145, 5, 202, 12, 160, 580, 202, 12, 6, 
52, 58, 11418, 92, 401, 728, 12, 39, 14, 251, 8, 15, 251, 5, 21213, 12, 38, 84, 80, 124, 12, 9, 
231), 

list([1, 17, 6, 194, 337, 7, 4, 204, 22, 45, 254, 8, 106, 14, 123, 4, 12815, 270, 14437, 5, 
16923, 12255, 732, 2098, 101, 405, 39, 14, 1034, 4, 1310, 9, 115, 50, 305, 12, 47, 4, 168, 5, 235, 
7, 38, 111, 699, 102, 7, 4, 4039, 9245, 9, 24, 6, 78, 1099, 17, 2345, 16553, 21, 27, 9685, 6139, 
5, 29043, 1603, 92, 1183, 4, 1310, 7, 4, 204, 42, 97, 9@, 35, 221, 109, 29, 127, 27, 118, 8, 97, 
12, 157, 21, 6789, 85010, 9, 6, 66, 78, 1099, 4, 631, 1191, 5, 2642, 272, 191, 1070, 6, 7585, 8, 
2197, 70907, 10755, 544, 5, 383, 1271, 848, 1468, 12183, 497, 16876, 8, 1597, 8778, 19280, 21, 60, 
27, 239, 9, 43, 8368, 209, 405, 10, 10, 12, 764, 40, 4, 248, 20, 12, 16, 5, 174, 1791, 72, 7, 51, 
6, 1739, 22, 4, 204, 131, 9])], 

dtype=object) 


SUIS per «dll Lgaalles es 45 QUI of Bad à stef SUN CI 5 V3] 
Je LS se dus 5, CUS iuonll SV fais « dune slot à Se 
SN Lol SU has 5 5 « Client SI del LS 4 Ja « Jlall Ju 
LS pme 2 promall aus à LAIT LH jones 1 promall s4ul Sa 3 à Lliiie 
&S U 8x5 Elus olarl dl Le 5,5 I NS St) st 0 3 « Bose LE 

af 5 Ye Re Se à poli 


word_index = imdb.get_word_index() # get {word : index} 


index_word = {v : k for k,v in word_index.items()} # get {index : word} 
index = 1 
print(" ".join([index_wordlidx] for idx in x_train[index]])) 


print("positve" if y_train[index]==1 else "negetive") 


the thought solid thought senator do making to is spot nomination assumed while he of 
jack in where picked as getting on was did hands fact characters to always life 
thrillers not as me can't in at are br of sure your way of little it strongly random 
to view of love it so principles of guy it used producer of where it of here icon film 
of outside to don't all unique some like of direction it if out her imagination below 
keep of queen he diverse to makes this stretch stefan of solid it thought begins br 
senator machinations budget worthwhile though ok brokedown awaiting for ever better 
were lugia diverse for budget look kicked any to of making it out bosworth's follows 
for effects show to show cast this family us scenes more it severe making senator to 
levant's finds tv tend to of emerged these thing wants but fuher an beckinsale cult as 
it is video do you david see scenery it in few those are of ship for with of wild to 
one is very work dark they don't do dvd with those them 

negetive 


ds 500 Jif AI Late JS ts Je 5 LOU 6 Joball ee pe ob pal DORE 5 
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La lel $os 2 lol| lola colel > re Âo sages 30 &N « Mg 51, Keras 4x 
103 à It D gs 
word_index = imdb.get_word_index() # get {word : index} 
index_word = {v : k for k,v in word_index.items()} # get {index : word} 
index = 1 


print(" ".join([index_wordlidx] for idx in x_train[index]])) 
print("positve" if y_train[index]==1 else "negetive") 


roi > QI alé Less lets JR LOI ce de JS Les c ail ei 
X_train[125] 


array(C 0, 0, 0, 0, 0, 0, 0, 0, 0, 
0, @, 0, 0, 0, 0, 0, 0, 0, 

0, @, 0, 0, @, 0, 0, Q, 0, 

0, @, 0, 0, 0, 0, 0, 0, 0, 

0, @, 0, 0, Q, 0, 0, @, 0, 

0, 0, 0, 0, 0, 0, 0, 0, 0, 

0, @, 0, 0, Q, 0, 0, 4, 11, 

6, 58, 54, 4, 14537, 5, 6495, 4, 2351, 
1630, 71, 13202, 23, 26, 20094, 40865, 34, 35, 
9454, 1680, 8, 6681, 692, 39, 94, 205, 6177, 
712, 121, 4, 18147, 7037, 406, 2657, 5, 2189, 
61778, 26, 23906, 11420, 6, 708, A4, 4, 1110, 
656, 4667, 206, 15, 230, 13781, 15; 7, 4, 
4847, 36, 26, 54759, 238, 306, 2316, 190, 48, 
25, 181, 8, 67, 6, 22; A4, 15, 353, 
1659, 84675, 3048, 4, 9818, 305, 88, 11493, LR 
31, 7, 4, 91, 12789, 53410, 3106, 126, 93, 
40, 670, 8759, 41931, 6, 6951, 4, 167, A7, 
623, 23, 6, 8175, 29, 186, 340, 4447, 7; 
5, 44141, 27, 5485, 23, 220, 175, 2122, 10, 
19, 27, 4841, 26, 6, 5261, 2631, 604, 7 


9248, 49, 35, 1755, 362, 11, 4, 2370, 2222, 
56, 7, 4, 23052, 2489, 39, 609, 82401, 48583, 
6, 3440, 655, 707, 4198, 3801, 37, 4486, 33, 
175, 2631, 114, 471, 17, 48, 36, 181, 8, 
30, 1059, 4, 3408, 5963, 2396, 6, 117, 128, 
21, 26, 131, 4218, 11, 20663, 3826, 14524, 10, 
10, 12, 9, 614, 8, 97, 6, 1393, 22, 
44, 995, 84, 21800, 5801, 21, 14, 9, 6, 
4953, 22, 44, 995, 84, 93, 34, 84, 37, 
104, 507, 11076, 37, 26, 662, 180, 
5075, 11, 882, 71, 31, 8, 39022, 36011, 31537, 
5, 48583, 19, 1240, 31800, 1806, 11521, 5, 7863, 
28281, 4, 959, 62, 165, 30, 8, 2988, 4, 
2772, 1500, 7, 4, 22, 24, 2358, 12, 10, 
10, 22993, 238, 43, 28, 188, 245, 19, 27, 
185, 5, 687, 48, 29, 562, 98, 615, 21, 
27, 8500, 9, 38, 2797, 4, 548, 139, 62, 
9343, 6, 14053, 707, 137, 4, 1205, 7, 4, 
6556, 9, 53, 21797, 14, 4, 6556, 410, 5, 
27, 5150, 8, 79, 27, 177, 8, 3126, 19, 
33, 222, 49, 22895, 7, 14090, 406, 5424, 38, 
4144, 15, 12, 9, 165, 2268, 8, 106, 318, 
760, 215, 30, 93, 133, 7, 31537, 38, 55, 
52, 11, 26149, 17310, 1080, 24192, 68007, 29, 9, 
6248, 78, 133, di, 6, 239, 15, 9, 38, 
230, 120, 4, 350, 45, 145, 174, 10, 10, 
22993, 47, 93, 49, 478, 108, 21, 25, 62, 
115, 482, 12, 39, 14, 2342, 947, 6, 6950, 
8, 27, 157, 62, 115, 181, 8, 67, 160, 
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87, 902, 2152, 3572, 5, 6, 619, 437, 7, 
6, 4616, 221, 819, 31, 323, 46, 7, 747, 
5, 198, 112, 55, 3591], dtype=int32) 


DS al 0 6) pes pes à LS 500 ce JB OS Ia Jsball mes ON IS « odtel cs 5 LS 
giplels 5 e 4 DVI Ross Jess 15 Lou LOI oxlles (Les Di haut Laoll ie 
from keras.models import Sequential 
from keras.layers import Embedding 
from keras.layers import LSTM, Dense 
embedding_vector_length = 32 
model = Sequential() 
model .add(Embedding(top_words, embedding_vector_length, 
input_length=max_review_length)) 
model .add(LSTM(100)) 
model .add(Dense(1, activation='sigmoid'})) 
model.compile(loss='binary_crossentropy',optimizer="'adam', 


metrics=[l'accuracy'1) 
print(model.summary()) 


Model: "sequential_2" 


Layer (type) Output Shape Param # 
“embedding (Embedding) (None, 500, 32) 16000 
1stm (LSTM) (None, 180) 53200 
dense (Dense) (None, 1) 101 


Total params: 213,301 
Trainable params: 213,301 
Non-trainable params: @ 


HIS yon Lodéul Gt Jill 5 LS eos) ts Le la à Ge LS LS 
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model.fit(X_train, y_train, validation _data=(X_ test, y_test), epochs=5, 
batch_size=32) 


Epoch 1/5 

782/782 [==========-=---=----------------1] - 82s 103ms/step - loss: 0.4681 - accuracy: 
@.7815 - val_loss: @.3702 - val_accuracy: 0.8430 

Epoch 2/5 

782/782 [==============-=---------------1] - 79s 191ms/step - loss: 0.3349 - accuracy: 
0.8618 - val_loss: @.3984 - val_accuracy: @.8299 

Epoch 3/5 

782/782 [===========-------------------1] - 89s 102ms/step - loss: 0.2669 - accuracy: 
0@.8954 - val_loss: @.3272 - val_accuracy: @0.8657 

Epoch 4/5 

782/782 [==========-=--=----------------1] - 89s 102ms/step - loss: 0.2259 - accuracy: 
0.9117 - val_loss: @.3122 - val_accuracy: @0.8713 

Epoch 5/5 

782/782 [==========-=-===----=-----------1] - 79s 191ms/step - loss: 0.1912 - accuracy: 
@.9270@ - val_loss: @.3399 - val_accuracy: @.8604 
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scores = model.evaluate(X_test, y_test, verbose=0) 
print("Accuracy: %.2fF%%" % (scores[11x100)) 


Accuracy: 86.04% 
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Dis ST JS GAL Etie 4 pal 5e Last Kool 63e Jess dos cobui EG ba 
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Le SUN 84 pe Lo JL Las of eus Ve Laues EN EU Ages ce « SI 
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Loges plis jet DES dsl ils CI Less Le dès 4 ol Ut HU 
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CE(p,q) = — D piG0 log(ai()) 
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CE(p,q) = —(p(x) log q(x) + (1 — p(x)) log(1 — q(x)) 
moe te 45e de gomme J Wslaoll Atos LS 


1 m 
P4——— px; ) 108 gx) + (TL — p(x;)) log(i — q{x; 
CEGp,9) = —— } (p(x)loga(x;) + (1 — px) log(t — q(x;)) 

j=i 
reel (es sJes Lies La JS ll pe 


1 1 
JO) = 2 Es-puure 10B(DG)) - Es log (1 - D(G())) 
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from tensorflow.keras.datasets import mnist 

from tensorflow.keras.layers import Input, Dense, Reshape, Flatten, Dropout 

from tensorflow.keras.layers import BatchNormalization, Activation, ZeroPadding2D 
from tensorflow.keras.layers import LeakyReLU 
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from tensorflow.keras.layers import UpSampling2D, Conv2D 
from tensorflow.keras.models import Sequential, Model 
from tensorflow.keras.optimizers import Adam 

from tensorflow.keras import initializers 

import matplotlib.pyplot as plt 

import sys 

import numpy as np 

import tqdm 


(X_ train, _), (_, _) = mnist.load_data() 
X_train = (X_train.astype(np.float32) - 127.5)/127.5 


Le gare ps jé el SEL le same 3 SNS (ef des N EL LAN LS 
AP leds a ae gl Sel of Es « alles Lé obedtal Le Co jail SUL, 
LU aness 95 EU Las joe ode Lal OU 1 3 Là ;all SU 0 
pu ls 

ÉUIT 4784 has gala aps 5,50 ax, OI Saxe Doeuss paire 
oi SUR Dors pre 

X_train = X_train.reshape(60000, 784) 

noisy data La sis De AI 98 Msll ce El mes (ge pui of Le oSi 
5e Ale 3 LS AI Jo) qœus Joue qe ne A US Le page] dgslie 3) pe LS 
Li Lee LU 100 Le ds Lu Le sole 403 si I es “Sa .randomDim 
-LeakyReLU Dés Re Les le 256 + Dense SSL Joli Jeu 10 
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Le 784 pe pl Lol, 4 Liece Le 1024 le (sg (Al Réal EU 
ges HN 25 LES Ds Liéeoll OLIS Lau LAS 4e 5 étSes Les 
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randomDim = 10 

generator = Sequential() 
generator.add(Dense(256, input_dim=randomDim)) 
generator.add(LeakyReLU(0.2)) 
generator.add(Dense(512)) 
generator.add(LeakyReLU(@.2)) 
generator.add(Dense(1024)) 
generator.add(LeakyReLU(@.2)) 
generator.add(Dense(784, activation='tanh')) 
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discriminator = Sequential() 
discriminator.add(Dense(1024, input_dim=784, 
kernel_initializer=initializers.RandomNormal(stddev=0.02))) 
discriminator.add(LeakyReLU(@.2)) 
discriminator.add(Dropout(@.3)) 
discriminator.add(Dense(512)) 
discriminator.add(LeakyReLU(@.2)) 
discriminator.add(Dropout(@.3)) 
discriminator.add(Dense(256)) 
discriminator.add(LeakyReLU(@.2)) 
discriminator.add(Dropout(@.3)) 
discriminator.add(Dense(1, activation='sigmoid'})) 
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# Combined network 

discriminator.trainable = False 

ganInput = Input(shape=(randomDim, )) 

x = generator(ganInput) 

ganOutput = discriminator(x) 

gan = Model(inputs=ganInput, outputs=ganOutput) 
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discriminator.compile(loss="'binary_crossentropy', optimizer=adam) 
gan.compile(loss='binary_crossentropy', optimizer=adam) 


A gal I La ,e5s « noisy data 5e due Si Ab à 8350 19 ae pe OS fa 
ils à $ Rgaol Ce Il, nos dis all à all prod p 5 Aie 83 po A sall es 
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dLosses = [] 
gLosses = [] 
def train(epochs=1, batchSize=128): 
batchCount = int(X_train.shapel[0] / batchSize) 
print ('Epochs:', epochs) 
print ('Batch size:', batchSize) 
print ('Batches per epoch:', batchCount) 


for e in range(1, epochs+1): 
print ('-'x15, 'Epoch %d' % e, '-'x15) 
for _ in range(batchCount ): 
# Get a random set of input noise and images 
noise = np.random.normal(@, 1, size=[batchSize, randomDim]) 
imageBatch = X_train[np.random.randint(@, X_train.shape[@1], 
size=batchSize)] 


# Generate fake MNIST images 
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generatedImages = generator.predict(noise) 
# print np.shape(imageBatch), np.shape(generatedImages) 
X = np.concatenate([imageBatch, generatedImages ]) 


# Labels for generated and real data 
yDis = np.zeros(2xbatchSize) 

# One-sided label smoothing 
yDisC:batchSize] = @.9 


# Train discriminator 
discriminator.trainable = True 
dloss = discriminator.train_on_batch(X, yDis) 


SJ sell Las lo all de © el es Of de 5 NU sell Cut p 525 « for dl ès à OS 
Ms Jens (lose) like gare pds SUN Kaas Lyf de peell dul s 
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# Train generator 

noise = np.random.normal(@, 1, size=[batchSize, randomDim]) 
yGen = np.ones(batchSize) 

discriminator.trainable = False 

gloss = gan.train_on_batch(noise, yGen) 
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# Store loss of most recent batch from this epoch 
dLosses.append(dloss) 
gLosses.append(gloss) 


if e == 1 or e % 20 == 0: 
saveGeneratedImages(e) 
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# Plot the loss from each batch 

def plotLoss(epoch): 
plt.figure(figsize=(10, 8)) 
plt.plot(dLosses, label='Discriminitive loss') 
plt.plot(gLosses, label='Generative loss') 
plt.xlabel('Epoch') 
plt.ylabel('Loss') 
plt.legend() 
plt.savefig('images/gan_loss_epoch_%d.png' % epoch) 


# Create a wall of generated MNIST images 
def saveGeneratedImages(epoch, examples=100, dim=(1@, 10), figsize=(10, 
19)): 

noise = np.random.normal(@, 1, size=[examples, randomim]) 
generatedImages = generator.predict(noise) 
generatedImages = generatedImages.reshape(examples, 28, 28) 
plt.figure(figsize=figsize) 
for i in range(generatedImages.shapel01]): 


plt.subplot(dimL@1, dimL1], i+1) 
plt.imshow(generatedImages[il, interpolation='nearest", 
cmap="'gray_r') 
plt.axis('off') 
plt.tight_layout() 
plt.savefig('images/gan_generated_image_epoch_%d.png' % epoch) 
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from tensorflow.keras.datasets import mnist 

from tensorflow.keras.layers import Input, Dense, Reshape, Flatten, 
Dropout 

from tensorflow.keras.layers import BatchNormalization, Activation, 
ZeroPadding2D 

from tensorflow.keras.layers import LeakyReLU 

from tensorflow.keras.layers import UpSampling2D, Conv2D 

from tensorflow.keras.models import Sequential, Model 

from tensorflow.keras.optimizers import Adam 

from tensorflow.keras import initializers 

import matplotlib.pyplot as plt 

import sys 

import numpy as np 

import tqdm 

randomDim = 1@ 


# Load MNIST data 

(X_train, _), (_, _) = mnist.load_data() 

X_train = (X_train.astype(np.float32) - 127.5)/127.5 
X_train = X_train.reshape(60000, 784) 


generator = Sequential() 

generator.add(Dense(256, input_dim=randomDim)) #, 
kernel_initializer=initializers.RandomNormal(stddev=0.02))) 
generator.add(LeakyReLU(@.2)) 

generator.add(Dense(512)) 

generator.add(LeakyReLU(@.2)) 

generator.add(Dense(1024)) 

generator.add(LeakyReLU(@.2)) 

generator.add(Dense(784, activation='tanh')) 

adam = Adam(learning_rate=0.0002, beta_1=0.5) 


discriminator = Sequential() 

discriminator.add(Dense(1024, input_dim=784, 
kernel_initializer=initializers.RandomNormal(stddev=0.02))) 
discriminator.add(LeakyReLU(@.2)) 
discriminator.add(Dropout(@.3)) 
discriminator.add(Dense(512)) 
discriminator.add(LeakyReLU(@.2)) 
discriminator.add(Dropout(@.3)) 
discriminator.add(Dense(256)) 
discriminator.add(LeakyReLU(@.2)) 
discriminator.add(Dropout(@.3)) 

discriminator.add(Dense(1, activation='sigmoid'})) 
discriminator.compile(loss='binary_crossentropy', optimizer=adam) 
# Combined network 

discriminator.trainable = False 

ganInput = Input(shape=(randomDim, )) 

x = generator(ganInput) 
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ganOutput = discriminator(x) 
gan = Model(inputs=ganInput, outputs=ganOutput) 
gan.compile(loss='binary_crossentropy', optimizer=adam) 
dlosses = [] 
gLosses = [] 
# Plot the loss from each batch 
def plotLoss(epoch): 
plt.figure(figsize=(10, 8)) 
plt.plot(dLosses, label='Discriminitive loss') 
plt.plot(gLosses, label='Generative loss') 
plt.xlabel('Epoch') 
plt.ylabel('Loss') 
plt.legend() 
plt.savefig('images/gan_loss_epoch_%d.png' % epoch) 
# Create a wall of generated MNIST images 
def saveGeneratedImages(epoch, examples=100, dim=(18, 10), 
figsize=(10, 10)): 
noise = np.random.normal(@, 1, size=[examples, randomDim]) 
generatedImages = generator.predict(noise) 
generatedImages = generatedImages.reshape(examples, 28, 28) 
plt.figure(figsize=figsize) 
for i in range(generatedImages.shape[@]): 
plt.subplot(dim[@], dim[11, i+1) 
plt.imshow(generatedImages[il, interpolation='nearest", 
cmap="'gray_r') 
plt.axis('off') 
plt.tight_layout() 
plt.savefig('images/gan_generated_image_epoch_%d.png' % epoch) 
def train(epochs=1, batchSize=128): 
batchCount = int(X_train.shape[Q] / batchSize) 
print ('Epochs:', epochs) 
print ('Batch size:', batchSize) 
print ('Batches per epoch:', batchCount) 


for e in range(1, epochs+1): 
print ('-'x15, 'Epoch %d' % e, '-'x15) 
for _ in range(batchCount): 
# Get a random set of input noise and images 
noise = np.random.normal(@, 1, size=[batchSize, 
randomDim]) 
imageBatch = X_train[np.random.randint(@, 
X_train.shape[0], size=batchSize)] 


# Generate fake MNIST images 

generatedImages = generator.predict(noise) 

# print np.shape(imageBatch), np.shape(generatedImages) 
X = np.concatenate([imageBatch, generatedImages]) 


# Labels for generated and real data 
yDis = np.zeros(2xbatchSize) 

# One-sided label smoothing 
yDis[:batchSize] = @.9 


# Train discriminator 
discriminator.trainable = True 
dloss = discriminator.train_on_batch(X, yDis) 


# Train generator 

noise = np.random.normal(@, 1, size=[batchSize, 
randomim]) 

yGen = np.ones(batchSize) 

discriminator.trainable = False 

gloss = gan.train_on_batch(noise, yGen) 


# Store loss of most recent batch from this epoch 
dLosses.append(dloss) 
gLosses.append(gloss) 


if e == 1 or e % 20 == 0: 
saveGeneratedImages(e) 


# Plot losses from every epoch 
plotLoss(e) 
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train(200, 128) 


Epochs: 200 
Batch size: 128 
Batches per epoch: 468 


— Discriminitive loss 
20 — Generative loss 
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